인간 몸에 신경이 있듯이 전자제품에겐 PCB(Printed Circuit Board, 인쇄회로기판)가 있습니다. PCB는 냉장고부터 스마트폰, 청소기부터 음성비서까지 우리 삶을 윤택하게 하는 무수한 전자 제품의 작동 회로를 구성합니다. PCB의 회로가 집이라면, 그 집이 딛고 서있는 지반이 바로 녹색 판으로 흔히 알려져 있는 기판 소재(substrate, 서브스트레이트)입니다. 지반이 단단해야 집이 튼튼하듯 기판 소재에 흠이 없어야 PCB도 문제가 없습니다.

LG이노텍은 기판 소재 분야 글로벌 주도 기업입니다. LG이노텍의 기판 소재 사업은 크게 세 부문인데, 반도체 칩 등을 올리는 패키지 기판 소재(Package Substrate) 부문, 특정 패턴으로 빛을 통과시키는 부품인 포토마스크 부문, 디스플레이용 집적 회로 등을 올리는 휘어지는 기판 소재(Tape Substrate) 부문입니다. LG이노텍은 세 부문에서 각각 세계 시장 점유율 32%, 40%, 33%를 기록한(2019년 기준) 세계 1위 기업입니다.

기판 소재 제작 공정의 핵심, 비전 검사

비전(Vision) 검사란 제품 등의 외관을 눈으로 살펴서 이상을 확인하는 것으로, 요즘은 사람의 눈과 같은 역할을 하는 카메라와 자동 검사 공정 등을 결합한 머신 비전(Machine Vision)이 널리 쓰이고 있습니다. 자동차 부품 검사부터 공항 수하물 검사까지 비전 검사는 다양한 곳에서 쓰입니다. 핵 발전소의 부품 검사나 의약품의 불순물 검사 같이 어떤 비전 검사는 사람의 생사를 좌우할 정도로 중요하기도 하죠. 기판 소재에서도 비전 검사는 매우 중요한 역할을 하고 있습니다. 기판은 밀리미터 단위 이하의 정교함이 요구되는 부품이자 전자제품의 생명을 좌우하는 부품이기 때문에 아주 작은 결함도 허용되지 않기 때문입니다.

LG AI연구원과 LG이노텍 생산기술담당, LG전자 생산기술원의 공동 연구진은 비전 검사 개선을 위해 인공지능 기술을 이 불량 검사에 적용하는 연구를 진행했습니다. 자기주도 표현 학습(Self-supervised Representation Learning)을 비롯한 최신 인공지능 기술을 적용해 검사의 수준을 한 단계 끌어올린 것입니다. 기술을 적용한 부문은 휘어지는 기판 소재 부문인데, 이는 스마트폰, 모니터, 텔레비전 등 전자제품 제조에 없어선 안 될 핵심 부품으로 LG이노텍에서 매월 1억 5천만 개를 생산하고 있는 부품이기도 합니다.

비전 검사는 전형적인 분류(Classification) 지도학습 문제를 푸는 것과 유사합니다. 기계학습 모델의 목적은 제품의 사진을 보고 양품인지 불량품인지 분류하는 것입니다. 양품/불량품으로 라벨링(Labeling)된 훈련 데이터셋로부터 모델이 각각의 특징을 학습하고 나면, 이후 새 사진이 들어왔을 때 어느 쪽인지 구분해 낼 수 있습니다. LG이노텍 역시 이런 지도학습 모델을 비전 검사에 운용해 왔습니다. 그리고 같은 방식으로 운용해 온 무수한 다른 AI 자동화 공장과 같은 문제에 봉착했습니다. 크게 다음의 세 가지입니다.

1. 희소한 불량 데이터
불량은 늘 발생하는 일이 아니기 때문에 양품 대비 데이터의 수가 매우 적습니다. 양품 수백만 개가 나올 때 두서너 개 나오는 것이 불량입니다. 이런 불량을 찾아 라벨링하고 학습용 데이터셋을 만드는 것은 어려운 일입니다.

2. 파괴적 망각(Catastrophic Forgetting)
미래에도 훈련 데이터에 있는 불량과 같은 식의 불량만 계속 발생하리란 보장은 없습니다. 새 불량 유형이 나타나면 그때마다 인공지능을 다시 학습시켜야 합니다. 즉, 끊임없는 유지 보수 비용이 발생하는 것이죠.

이 경우 재학습 방법은 크게 둘로 나눌 수 있습니다. 옛 데이터와 새 데이터를 모두 합한 데이터셋으로 인공지능을 새로 학습시키는 것, 그리고 기존 모델에 새 데이터만 추가로 학습시키는 것입니다. 전자는 확실한 방법이지만 매 업데이트마다 누적된 대량의 데이터를 새로 학습해야 하니 자원 낭비가 심합니다. 후자는 낭비는 덜하지만 학습 과정에서 과거에 배운 지식이 손상될 수 있습니다. 심지어 모델이 이전에 배운 정보를 갑작스럽게 완전히 잊어버리는 문제가 발생하기도 하는데, 이를 파괴적 망각(Catastrophic Forgetting)이라고 합니다.

3. 고된 재검증
모델이 잘 작동하고 있는지 검증하는 작업도 쉽지만은 않은 일입니다. AI의 분류 결과를 전적으로 신뢰할 순 없기 때문에 샘플을 뽑아 정확도를 검증하는 과정이 필요합니다. 불량으로 분류한 제품이 실제 불량인지 육안으로 확인하는 것은 인간에게 장시간 집중력을 요구하는 일입니다.

이런 문제들을 수월하게 해결할 수 있는 방법은 없을까요?

비지도 이상 탐지 Unsupervised Anomaly Detection

정상과 이상 두 집단의 특징을 각각 학습하는 게 아니라, 정상의 특징만 파악해 기준 밖의 것은 이상으로 분류하는 것도 이상 검출 방법입니다. 이를 이상 탐지(Anomaly Detection)라 합니다. 양품 데이터만으로 모델이 학습할 수 있다면, 불량품 데이터를 찾고 라벨링 할 필요는 사라집니다.

비전 검사의 경우 양품의 시각적 표현(Visual Representation)을 학습한 뒤 임계치(Threshold) 밖에 있는 것은 비정상으로 구분하는 방법을 쓸 수 있습니다. 사실 이 방법은 지금까지 다양하게 고안되었습니다. 하지만 실제 생산 환경에선 찾아보기 어려웠는데, 정확도가 전통의 지도학습에 비해 떨어졌기 때문입니다. 아래 그림 1은 Google Brain Team의 2020년 논문^[1]에 등장하는 차트로, 논문이 제시한 방법(SimCLR)을 비롯해 모든 비지도학습 모델(○)이 지도학습 모델(X, 왼쪽 상단의 Supervised)에 비해 정확도가 떨어집니다. SimCLR의 파라미터 수가 지도학습의 16배가량 되었을 때에야 비슷한 수준이 되는 것을 볼 수 있습니다.

그림 1. 다양한 비지도 비전 모델의 벤치마크(ImageNet Top-1 accuracy) 결과^[1]. 논문에서 제시하는 비지도학습 방법(SimCLR)이 다른 모델보다 우월하긴 하지만 지도학습(Supervised, 왼쪽 상단) 모델의 정확도에는 못 미친다.

연구진은 비전 검사 개선을 위한 이번 연구에서 비지도학습 방법으로 지도학습보다 높은 정확도의 모델을 구현해 냈습니다. 개발한 모델은 실제 생산 라인에 적용을 앞두고 있는데, 최초 상용화 사례라 할 수 있습니다. 표현학습 가운데 대조학습(Contrastive Learning)을 활용한 방식입니다.

대조 학습의 원리는 간단합니다. 사람은 고양이 사진을 보면 고양이라는 것, 개 사진을 보면 개라는 것을 압니다. 설사 사진 속의 고양이가 뒤집혀 찍혀 있거나 일부분만 찍혀 있더라도 개가 아닌 고양이란 것을 잘 압니다. 대조 학습의 목표는 모델에게 인간의 이런 능력을 가르치는 것입니다.

이를 비지도학습에 어떻게 활용할 수 있을까요? 먼저, 양품 데이터로부터 데이터를 증강합니다(Data Augmentation). 사진에서 일부를 발췌하거나(Crop), 사진의 일부를 잘라내고(Cutout), 색을 바꾸고(Color), 흐리게 하며(Blur), 뒤집거나(Flip), 돌리는(Rotate) 등의 변환(Transformation)을 가해 다양한 변형 데이터를 만들어 내는 것입니다. 그리고 적절한 알고리즘을 통해 여전히 정상, 즉 양품으로 보아야 할 데이터와 너무 변해서 비정상, 즉 불량으로 보아야 할 데이터를 구분합니다.

그림 2. 여러 사진 데이터 변환(transformation) 방법의 예^[1]

대조 학습 모델은 증강된 데이터로부터 정상의 표현(Representation)을 배웁니다. 사람이 고양이의 사진을 보면 고양이 일부만 나왔든, 색이 바뀌었든, 약간 돌아갔든 고양이 사진이라는 것을 정확히 알아채듯이, 학습 모델도 정확히 정상 제품의 사진을 보면 안 좋은 여건에서도 정상이라고 구분할 수 있게 되는 것입니다.

어떤 변환까지 정상 범주로 볼 것인가는 도메인마다 다를 수 있습니다. 연구진은 기판 소재 실제 데이터를 바탕으로 이 범주를 결정했습니다. 보다 구체적으로 밝기(Brightness)를 바꾸거나 사진을 돌린(Rotate) 경우는 정상 범주에 들어갔고, 일부를 잘라내거나(Cutout) 자른 뒤 다른 곳에 붙인(Cut paste) 경우는 정상에서 벗어났습니다. 회로 구성의 기반이 되는 기판 소재 도메인의 특성을 따른 것이라 할 수 있겠습니다.

그림 3. 기판 소재의 정상 범주(Positive 샘플)와 비정상 범주(Negative 샘플) 변환 데이터 예시(LG AI연구원)

이렇게 증강한 데이터를 통해 정상을 학습한 비전 모델의 정확도를 검증한 결과, 기존 지도학습 모델보다 더 우수한 성능을 보였습니다. 라벨링 작업을 통해 학습한 지도학습 모델보다 110.9%의 높은 정확도로 양품과 불량품을 구분한 것으로, 라벨링이 필요 없다는 이점은 있지만 정확도가 떨어지는 비지도학습의 한계를 넘은 것입니다. 이로써 첫 번째 문제를 해결했습니다. 학습 과정에서 모델이 일종의 모조 레이블(Pseudo-label)을 데이터에 먼저 부여한 뒤 학습했기 때문에 이 방식의 학습을 자기주도 학습(Self-supervised Learning)이라고도 합니다.

연속학습 Continual Learning

새로운 유형의 불량을 효과적으로 학습해야 하는 2번 문제는 어떻게 풀 수 있을까요? 연구진은 연속학습, 그중에서도 Experience Replay Approach를 사용했습니다.

원리는 과거 데이터 가운데 중요도가 높은 데이터만 선별해 신규 데이터와 함께 학습하는 것입니다. 기존의 전체 과거+신규 데이터를 합해 학습하는 방법에 비해 적은 학습 자원을 투여하고 효과적으로 학습할 수 있습니다. 이는 LG AI연구원이 CVPR(Computer Vision and Pattern Recognition) 2020의 연속학습 기술 경연 대회(Continual Learning Challenge)에서 1위를 차지한 기술을 기판 소재 데이터에 맞게 수정·개발한 방법입니다.

그림 4. 기존 데이터를 2차원 평면 상에 표현한 차트(LG이노텍 생산기술담당)

우선 과거 데이터 가운데 중요 데이터를 선별하는 데는 Soft Nearest Neighbor Loss를 이용한 알고리즘을 사용했습니다. 그림 4는 정상(파란색)과 불량(유형에 따라 오렌지, 녹색, 붉은색 등으로 표현)을 구분해 기존 데이터를 표현한 것입니다. Soft Nearest Neighbor Loss를 사용하면 집단과 집단 사이 경계면에 있는 Outlier들을 제거하고 집단의 특징을 잘 나타내는 응집도가 높은 데이터를 선택할 수 있습니다.

그림 5. 연속 학습(Continual Learning)의 개념 구조

이어서 과거 기억 가운데 중요한 것만 떠올리듯이 선별한 데이터를 학습 데이터셋에 포함시키고, 신규 데이터를 합칩니다. 이 데이터로 새 모델을 학습시키는 것입니다. 연구진은 이때 여러 모델을 결합해서 최종 예측 결과를 내는 앙상블 모델(Ensemble Model)을 적용해 분류 정확도를 더 높였습니다. 이렇게 생성한 모델의 분류 정확도는 기존 지도학습 대비 112.5%로 성능까지 더 뛰어났습니다. 새 연속학습 방법을 활용하게 되면 모델 업데이트를 위해 데이터셋을 만드는 데 투입해야 하는 인력의 수를 절반으로 크게 줄일 수 있을 것으로 기대됩니다.

설명가능한 인공지능 eXplainable AI

어떤 식이든 생성한 모델의 판단 결과를 전적으로 믿는 것은 현명하지 못한 일입니다. 판정을 정확히 하고 있는지 일부 샘플이라도 확인을 거치는 것이 옳습니다. 하지만 이는 사람에게 고도의 집중을 요하는 고된 일입니다. 인공지능이 이 문제에 도움이 될 수 없을까요? 생산품의 어떤 부분을 보고 불량 판정을 한 것인지 집중해서 보아야 하는 범위를 좁힐 수 있다면 육안으로 판별하는 검수원의 수고를 크게 덜 수 있습니다. 비전 분야의 설명가능한 인공지능(XAI, eXplainable AI)이 이 문제의 해결방안이었습니다.

LG AI연구원은 2021년 전미인공지능학회(AAAI) 컨퍼런스에서 기존 방법을 월등히 뛰어넘는 새 설명가능한 비전 인공지능 알고리즘, SISE(Semantic Input Sampling for Explanation)을 소개했습니다.(Link) 대개 이런 류의 알고리즘은 어떤 모델이 이미지 데이터에 대해 특정 판단을 내렸을 때 어느 부분을 중요하게 보았는지 찾아내고 이를 히트맵 형태로 시각화해 줍니다. 그런데 기존 방법은 알아보기 힘들거나(Low Interpretability), 잡음이 끼거나(Noisy), 자원 소요가 너무 많다는(Computation Cost) 문제가 있었습니다. SISE는 AI의 추론에 결정적인 부분을 좁게 표시해 주면서 소요 자원도 크지 않습니다.

그림 6. 생산품의 불량 판정을 내린 결정적 부분을 찾아내는 인공지능 설명 알고리즘들의 비교. 그림의 가운데가 결함이다. 8개 가운데 가장 오른쪽 하단이 SISE 알고리즘이 생성한 히트맵인데 결함 부분을 적절히 밝혀 주고 있다(LG이노텍 생산기술담당).

그림 6은 실제 불량 판정을 받은 기판 소재 이미지 데이터에 대해 여러 설명 알고리즘을 적용한 결과입니다. 연구진은 알고리즘의 성능 비교를 위해 설명 능력을 측정하는 Energy Based Pointing Game(EBPG) 등의 테스트를 진행했습니다. 그 결과 하단의 가장 오른쪽인 SISE는 동류의 기존 대표 알고리즘인 Grad-CAM(상단 왼쪽 두 번째)에 비해 평균 3배(298%) 더 우수한 것으로 나타났습니다. 참조로 SISE의 모티브가 된 RISE(Randomized Input Sample for Explanation, 하단 왼쪽 세 번째)의 경우 설명 능력은 괜찮아 보이지만, 연산 시간이 SISE 대비 10배가량 걸릴 정도로 많은 자원을 요구합니다.

거대한 가능성의 스마트 비전 검사

3개 최신 인공지능 기술을 적용해 얻은 성과를 요약하면 다음과 같습니다.

기술	성능	사업적 기대 효과
Unsupervised Anomaly Detection	판정 정확도 110.9% (지도학습 대비)	데이터 준비 기간 80% 단축
Continual Learning	판정 정확도 112.5% (지도학습 대비)	엔지니어 개입율 50% 감소
eXplainable AI	벤치마크 298% 우수(Grad-CAM 대비)	모델 검증기간 70% 단축

스마트 팩토리(Smart Factory)는 독일의 인더스트리 4.0 정책의 지향으로 세계적으로 큰 주목을 받았으며, 국내에는 4차 산업혁명의 중요 구성 요소 가운데 하나로 꼽힙니다. 스마트 팩토리는 다양한 기술을 결합해 초고도로 유연하고(Hyperflexible), 스스로 변화에 적응 가능한(Self-adapting) 제조 역량을 나타내는 개념입니다^[2]. 제품의 불량을 확인하는 비전 검사와 지적인 기능을 담당하는 AI는 모두 스마트 공장 구현에 빼놓을 수 없는 기술입니다.

LG 연구진은 최신 AI 기술을 적용해 전에 없던 수준의 자율성과 정확성을 갖춘 차세대 비전검사를 상용화에 성공했습니다. 이는 도메인 이미지 데이터 특성에 따른 적용 과정을 거친다면 무수한 다른 제품 공정에도 활용 가능한, 범용성이 매우 높은 기술이라 하겠습니다. AI가 가져온 제조산업 공정의 혁신이 더욱 멋지고 새로운 제품의 개발로 이어지는, LG AI연구원이 꿈꾸는 긍정적인 선순환에 이바지할 수 있기를 기대합니다.

LG AI Talk Concert | 차세대 비전 검사 연구 현황 및 성과 - 강병준 리더 (Link)