팁회전 아크 용접에서 카메라 영상 모니터링과 딥러닝을 이용한 아크 이미지 분류 알고리즘 개발
Development of an Arc Image Classification Algorithm in Tip-Rotating Arc Welding using Camera Image Monitoring and Deep Learning
Article information
Abstract
In this study, we developed a welding system and welding monitoring system for GMA (Gas Metal Arc) aluminum welding using a tip-rotation arc welding torch. Welding was performed under various conditions, including suitable, low-heat, and high-heat input conditions. For welding monitoring, current and voltage were measured, and arc images were obtained. After the experiments, arc images were analyzed and classified based on the bead quality and cross-sectional analysis data. To develop a welding quality prediction model using arc images, a CNN-based model was developed. A total of 5,203 images were trained, and the quality was predicted for 631 images. The prediction accuracy was 99.88% for training data, and the possibility of assessing the quality of welded joints based on arc images during welding was confirmed.
1. 서 론
알루미늄 합금은 높은 열전도도와 열팽창 계수에 비해 용융 온도는 660°C로 낮은 편에 속한다. 알루미늄 합금의 이러한 특성은 용접 후 열 변형 및 균열을 발생 가능성이 있으며, 액상에서의 수소 용해도가 높아 기공이 발생하기 쉬워 난용접성 소재로 분류된다1). 그리고 알루미늄 용접에 있어서 기공과 같은 용접 결함은 용접부의 강도 등에 큰 영향을 미친다. 또한 높은 열팽창에 의하여 변형이 발생하기 쉬우며 이를 해결할 수 있는 새로운 공법적인 변화가 필요하다.
직선 용접법의 단점을 보완한 위빙 용접법은 산업 현장에서 많이 사용되고 있으며, 최근 용접 로봇의 적용을 통해 빠른 용접 속도와 높은 용착량을 달성할 수 있어 용접 생산성을 극대화할 수 있다2). Fig. 1은 위빙 용접의 예이며, (a)에 나타난 직선 위빙 용접은 위빙의 움직임 양 끝단에서 방향이 전환되는 것을 확인할 수 있다. 위빙의 방향 전환을 위해 용접의 끝단에서 용접방향의 수직 용접 속도가 0이 된다. 이에 따라 용접 속도는 위빙 주기로 계속해서 변화하며 용접부 끝단에서는 합성 속도가 느려져 용접 와이어의 용융량이 누적되어 용착량이 일정하지 않다.
Weaving method in arc welding (a) Straight weaving (b) Tip-rotating weaving
직선 위빙 용접법의 장점을 취하고 단점을 보완하기위하여 제안된 용접법이 팁회전 아크 용접법이다3). Fig. 1 (b)에 나타낸 팁회전 용접의 위빙을 보면 아크가 회전하며 직선으로 움직이기 때문에 아크의 선속도의 변화가 나타나지 않아 일정한 용접성을 확보할 수 있다. 팁회전 아크 용접의 특징은 팁이 회전함에 따라 입열을 분산시키는 효과가 있고4), 아크의 회전으로 인한 용융풀 유동이 발생하여 용접부 내의 기체가 빠져나가 기공이 감소하는 효과가 있다5). 구심력에 의해 같은 입열량의 경우 직선 용접보다 높은 용착량을 얻을 수 있어 생산량을 증가시킬 수 있다6,7). 그러나 고속 아크 회전 시에 과도한 용접 전압은 언더컷을 생성할 수 있다8). 또한 아크가 빠르게 회전하기 때문에 아크 안정성이 떨어지기 쉽다. 그러므로 아크 상태를 모니터링하는 방법이 필요하며, 이를 기반으로 용접부의 품질을 예측하는 시스템의 개발이 필요하다.
용접 중 전류와 전압의 계측을 통해 용접 공정 중 발생하는 문제를 직관적으로 알 수 있다9). Quinn 등10) 은 공정 중 전류와 전압 신호를 측정하고 7개의 알고리즘을 사용하여 용접 결함을 검출하였다. 전류와 전압의 데이터가 시계열 기반의 데이터라는 특징을 활용하여 고속 퓨리에 변환(Fast fourier transform) 및 웨이블렛 변환 방법론을 적용하는 연구도 진행되었다11). 하지만 전류와 전압만을 이용한 모니터링은 전기적인 측면만을 고려한 모니터링으로 한계가 존재한다. 이를 극복하기 위하여 이미지 센서를 활용한 모니터링 시스템이 제안되었다. Gunther 등12)은 토치에 고속카메라를 장착하여 스패터를 검출하여 결함을 예측했다. Li 와 Zhang13)은 GMAW에서의 용융 풀을 촬영하고 분석하여 다양한 전달 모드를 관찰하고 각 모드와 전류와의 관계를 규명하였다. Wu 등14)은 CCD 카메라로 촬영한 용융풀 이미지에서 에지(Edge) 감지를 위해 유전알고리즘과 오츠(Otsu) 임계법을 사용하였다. Zhang 등15)은 GTAW에서 알루미늄 합금 용접시 다양한 각도에서 용접 이미지를 획득한 후 CNN 분류 모델을 활용하여 불완전 용입과 용락을 검출하였다.
그러므로 본 연구에서는 알루미늄 합금의 팁회전 아크 용접에서 아크 안정성 및 용접부 품질을 분류하기 위하여 용접 모니터링 시스템을 구축하였다. 모니터링 시스템은 아크 전류와 전압을 측정하였고, 카메라를 이용하여 용접부의 아크 이미지를 계측하였다. 적정, 고입열, 저입열 등의 다양한 용접 조건에 따라 용접을 수행하였고, 용접부 단면과 용입을 이용하여 용접 품질을 분류하였다, 계측된 아크 이미지를 기반으로 용접 품질을 매칭시킬 수 있도록 딥러닝 알고리즘을 이용하여 품질분류 시스템을 구축하였다.
2. 용접 실험 장치와 조건
2.1 실험 장치 및 재료
알루미늄 합금에 대한 팁회전 아크 용접 및 모니터링 데이터 구축을 위해 용접 실험 시스템을 구축하였다. 실험에 사용된 장치는 용접전원 및 팁회전 토치로 구성된 용접 장치, 용접 이송을 위한 3축 캐리지 로봇 시스템, 모니터링 시스템으로 구성되어 있다. 용접 실험 시스템의 구성은 Fig. 2와 같다.
Schematic illustration for experimental setup
용접 장비는 용접기와 와이어 공급기, 팁회전 토치로 구성된다. 용접기는 최대 전류 350A인 인버터 방식의 용접기를 사용하였고, 용접 토치는 중공 모터를 이용한 팁회전이 가능한 토치로 최대 5,500 rpm까지 회전할 수 있다.
용접 시스템은 3축 캐리지 로봇 시스템을 이용하여 수행하였다. 용접은 용접 베드위에 시편을 지그로 고정한 후 용접 토치를 위치시켜 용접 방향의 반대로 이송하는 방식으로 진행하였다. 용접의 방법은 다른 요인의 효과를 최소화하기 위해 BOP (Bead on Plate) 용접으로 진행하였다3).
용접시 용접 전류와 전압 그리고 용접 영상을 계측할 수 있는 모니터링 시스템을 구축하였다. 용접 전류는 홀 센서를 사용하여 측정하였으며, 용접 전압은 용접기의 양극과 용접 베드(Bed) 사이에 전압 강화 회로를 제작하여 계측하였다. 용접 전류, 용접 전압을 수집하기 위한 DAQ보드를 사용하였으며 장치의 샘플링 속도를 10,000 samples/s로 설정하였다. 아크 영상은 CMOS 카메라를 사용하였으며 프레임 속도 60fps로 촬영하였다. 아크 영상을 측정할 때 주변의 불필요한 광들을 차단하기 위해 밴드 패스(Band pass) 470 nm 필터와 ND (Neutral density) 필터를 사용하였다.
알루미늄 합금에 대한 팁회전 용접 실험을 위해 사용된 소재는 5000계열 알루미늄 합금인 AL 5083이며, 두께는 6 mm를 사용하였다. 실험에 사용된 용접 와이어는 AWS A5.10 ER5183이며, 와이어의 지름은 1.2 mm이다. 모재와 용접 와이어의 화학적 조성은 Table 1과 같다.
Chemical composition of Al alloys (wt.%)
2.2 용접 실험 조건
알루미늄 합금의 팁회전 아크 용접 실험과 카메라를 이용한 모니터링을 위하여 용접 실험을 수행하였다. 실험 조건은 기존 연구를 참고하여 고정 변수를 설정하였다7). Table 2은 실험에 사용된 고정변수와 값이다. 일반적인 GMA 용접과는 달리 팁회전 아크 용접의 주요 변수로 회전 직경과 회전 속도가 있다. 이 두 변수는 기초 실험과 영상 프레임 속도를 고려하여 설정하였으며, 회전 직경은 4 mm로, 회전 속도는 500 rpm 으로 하였다16).
Fixed variables for welding experiment
본 연구에서는 용접 조건을 크게 적정 용접 조건(Sui- table welding condition)과 불량 용접 조건(Bad welding condition)으로 나누었으며, 불량 용접 조건은 그 원인에 따라 고입열, 저입열, 고전류, 그리고 고전압 4가지로 설정하여 총 5가지의 용접 조건으로 분류하였다. 각 조건의 용접 전류, 용접 전압은 값의 순서에 따라 Table 3에 나타내었다. 각 실험의 조건은 기초 실험을 통하여 그 값을 결정하였다.
Welding variables for weld condition
3. 용접 조건에 따른 실험 결과
2장에서 구분된 5가지의 용접 조건에 따라 팁회전 아크 용접을 수행하였으며, 각 실험 조건의 대표적인 용접부 상면 비드 형상과 단면을 Fig. 3와 같이 정리 하였다. Fig. 3에서 각 용접 조건에 대한 정보와 실험 번호가 표기되어 있으며, 상면 비드와 중앙 단면부 형상을 확인할 수 있다.
Types of bead shape at different welding condition
각 용접 조건중에서 적정의 용접 조건에서는 상면부의 비드 형상은 미려하고 단면부의 형상에서는 용입은 3~6 mm로 적정하다고 판단하였다. 비드폭은 7 mm 내외의 값을 가지고 있으며, 용접부 상단의 덧살의 높이도 2 mm 내외로 적정하게 형성되었다.
불량 용접 조건에 있어서 각 원인별 용접부의 단면 형상 및 특징은 다음과 같다. 용접 입열이 낮은 경우는 적정 용접조건보다 용접 전류와 전압이 모두 낮은 경우로서, 상면 비드 형상이 불규칙하였고 단면부도 용입이 낮고 덧살의 높이가 높음은 확인하였다. 적정 용접 조건보다 용접 전류와 전압이 모두 높은 고입열의 용접 조건에서는 험핑 비드 혹은 용락이 발생하였고, 용접중앙부의 일부 구간에서는 상면 비드가 움푹하게 파이는 현상이 발생하였다. 이 경우, 아크의 길이가 길어져, 팁이 녹거나 용접이 중단되는 경우도 발생하였다. 고전류의 용접 조건은 적정 입열보다 용접 전류가 높은 경우로서 용입은 적정 용접 조건과 비슷하나 불규칙한 비드가 형성되었고 용융량이 많아 용접부의 덧살이 높아지고 비드 표면이 움푹 파이는 현상이 발생하였다. 고전압 용접 조건은 적정 입열보다 전압이 높은 경우로써, 용입은 낮아지고 과다한 아크 길이에 의해 덧살 가운데가 파이고, 용융 금속이 양쪽으로 몰리는 현상이 나타났다.
4. 용접부 품질과 아크 이미지 분류
3장의 용접 결과를 이용하여 용접부 품질을 분류하고, 각 용접 조건에서의 품질에 매칭되는 대표적인 아크 이미지를 분류하였다. 이를 기준으로 이미지를 활용한 용접부 품질 판단의 기준을 설정하였다.
4.1 양호 품질의 용접과 아크 이미지
용접부 단면 형상을 기준으로 용접부 품질을 판단의 기준을 삼았으며, 단면의 형상은 Fig. 3의 적정 용접 조건의 경우에 해당하는 것을 양호의 품질로 판단하였다. 용접 단면에서 3 mm에서 6 mm의 용입을 갖는 경우이며, 용접부 표면 비드 형상이 미려하며, 2 mm 내외의 덧살 높이와 용락이 생기지 않는 조건이다. 이때 나타나는 아크의 이미지는 Fig. 4와 같다. 그림에서 보는 바와 같이 3.94 mm의 아크 길이를 갖고 있으며, 최대 폭은 9.07 mm이며, 안정적인 아크 형상을 갖는 이미지가 계측되었다.
Arc Image at suitable welding condition
4.2 불량 품질의 용접과 아크 이미지
4.2.1 불안정한 아크 길이
Fig. 3에서 저입열의 경우는 용접부의 용입이 낮아 불량한 품질로 판단할 수 있다. 저입열의 실험 중에 입열량이 충분하지 않기 때문에 와이어가 충분히 녹지 않는 상태로 아크의 길이가 작아지거나 소멸되는 현상이 발생였고, 이런 경우, 용접기의 오류에 의해 용접이 중단되었다. 이와 같이 용접부의 입열이 작아서 아크의 길이가 상대적으로 적은 경우는 용접부의 품질이 불량한 것으로 판단할 수 있다. 저입열의 아크 이미지는 Fig. 5와 같으며, 그림에서 보는 바와 같이 아크의 길이는 0.82 mm로 매우 짧은 것을 확인할 수 있다. 그리고 아크의 최대 폭 또한 1.88 mm로 매우 작다.
Arc image at low heat input condition
아크 길이가 불안정한 다른 경우는 아크의 길이가 너무 긴 경우이다. 높은 전류에 의하여 와이어의 용융이 빠르게 진행되며, 아크의 길이가 길어지고, 용접부의 용락 혹은 과용융이 발생하게 된다. 또한 아크의 길이가 극단적으로 길어지면 토치 끝단까지 진행되며 이 때는 와이어가 더 이상 공급되지 않고 용접기의 오류로 용접이 중단된다. 이 경우의 아크 이미지는 Fig. 6과 같고 아크 길이는 17 mm, 최대 폭은 8.5 mm이다. 그림에서 보는 바와 같이 아크의 길이가 토치 끝단까지 길어져 있다. 이런 이미지가 계측되는 경우는 모두 불안정한 아크 길이로 판단하고 불량으로 분류한다.
Arc image at high current welding condition
4.2.2 오목한 표면 비드 형상
고입열 혹은 고전압 조건에 있어서는 모재의 용융량이 많아지거나 아크의 길이가 상대적으로 길어지면, 이에 따라 용접부의 비드가 오목한 형상을 갖거나 험핑이 되는 현상이 발생한다. 이 경우 용접부 비드 형상은 3장의 Fig. 3의 고전압 조건과 같은 비드 형상이 나타난다. 주로 과입열 혹은 고전압의 조건에서 발생하며, 이 경우의 아크 이미지는 Fig. 7에서 보는 바와 같으며, 아크의 길이는 10.94 mm 최대 폭은 8.09 mm 였다. 용접부 아크의 형상이 적정의 아크 길이와 폭보다 크다. 그러므로 고전압 조건에 대하여 용접 불량으로 판단할 수 있다.
Arc image at high voltage welding condition
5. 딥러닝을 위한 이미지 데이터 처리
용접 품질 판단을 위한 모델 학습의 영상 데이터셋을 설정하기 위해서는 먼저 용접 양품과 불량의 기준을 설정하고 데이터를 분류하여야 한다. 본 연구에서는 불량 조건일 때 아크 길이가 비정상적으로 길어지거나 아크 길이가 매우 작아지는 것에 초점을 두어 데이터셋을 구축하였다. 따라서 아크 영상에서 아크 길이를 측정하여 데이터셋을 구축하기 위한 전처리 과정을 진행하였다.
5.1 영상 이미지 데이터의 전처리
실험을 통해 얻어낸 아크 영상 이미지를 사용하기 전에 정확한 아크 영역 검출을 위한 전처리 과정을 거쳐야 한다. 먼저, 아크 영상의 이미지를 프레임 단위로 캡처하여 이미지로 변환한다. 아크 이미지의 아크 빛의 RGB 값을 추출한다. 해당 과정은 아크 빛 주위의 플라즈마와 보호 가스를 모든 영상 이미지에서 차단하기 위한 기준을 설정하기 위함이다. 추출한 RGB 값을 범위로 하는 영역만 남기고 나머지는 임계처리 (Thresholding) 과정을 거친다. Fig. 8 (a)는 원래의 아크 이미지로 임계처리 과정을 거치면 Fig. 8 (b)와 같이 아크 영역 이외의 부분은 검은색으로 나타난다. 그런데 아크 영역이 실제 아크와 모재에 반사된 아크로 두 개가 보이는 경우가 있다. 모재에 반사된 아크 빛은 제외되어야 하며, 아크 빛만을 선택하여야 한다. 이를 위하여 CTWD가 17 mm이므로 팁 끝단을 기준으로 특정 길이 (본 연구에서는 17 mm)의 안쪽 영역은 아크 빛으로 간주하고 바깥 영역에 있는 빛은 반사된 아크로 간주하도록 프로그래밍하였다. 즉 팁 끝단으로부터 17 mm 이내에 있는 아크빛 만을 이용하였다.
Image pre-processing for raw arc image
5.2 영상 기반의 아크 길이 측정
이미지 전처리 과정을 통해 아크 영역을 제한한 뒤 Fig. 9와 같이 아크 영역에 바운딩 박스(bounding box) 설정을 하여 해당 박스의 높이를 픽셀 단위로 측정한다. 이미지의 한 픽셀당의 길이 혹은 1 mm 당 픽셀의 수는 실험 전에 버니어 켈리퍼스를 이용하여 카메라 이미지를 획득하고 이를 픽셀로 측정하여 환산하였다. 그러므로 바운딩 박스에서 높이 픽셀값을 통해 실제 아크의 길이를 mm 단위로 변환할 수 있다. 해당 과정을 자동화할 수 있도록 알고리즘을 구성하여 이미지 대입 시 아크 길이를 측정하여 그래프화하고 저장하여 분석할 수 있도록 하였다.
Arc image using bounding box process
6. 딥러닝 알고리즘을 이용한 아크 이미지 분류 모델 개발
6.1 딥러닝 알고리즘의 구조와 학습
본 연구에서는 용접부의 아크 이미지를 적정 용접 조건과 불량 품질에서의 용접 조건에 따라 분류하기 위하여 인공지능 알고리즘에 하나인 CNN 알고리즘을 이용하여 분류하였다. CNN 알고리즘은 convolution layer를 활용하여 설정한 kernel size내에서 지역적인 특징 추출하고, 이미지의 다양한 특성을 인식하는 알고리즘이다17).
4장에서 분석한 기준으로 아크 이미지를 적정 용접과 불량 용접으로 나누어 데이터 셋을 구성하였다. 각 용접 실험 조건에서 적정 조건의 아크 이미지는 3,072개, 불량 조건의 경우 4,362개로 학습데이터 셋을 구축하였다. 불량 용접의 경우, 용접기 오류 등에 의해 용접이 끝까지 수행되지 못하였고, 이로 인하여 계측된 이미지 개수가 상대적으로 적었다.
효율적인 학습을 위해 전체 이미지 중에서 아크 영역만 잘라 사용하였고, CNN 알고리즘의 학습을 위해 가로 70 px, 세로 60 px로 크기를 줄여 이용하였다. 계측된 데이터는 학습 데이터(train data)를 70%와 검증 데이터(validation data) 30%로 랜덤하게 나누었고 이를 위하여 train_test_split 함수를 사용하였다. 실제 학습 데이터(train data)의 구성은 적정 조건 데이터는 2,150개, 불량 조건 데이터는 3,053개 였으며, 골고루 분산된 것을 확인할 수 있었다.
효과적인 CNN 알고리즘 구성을 위해 최적 매개변수를 선정하기 위하여 KerasTuner 라이브러리를 사용하였다. Conv2D의 필터 개수, Drop out의 비율, Dense의 Unit 개수, Learing rate, Batch size에 대하여 최적화 작업을 진행하였다. 최적화된 모델의 구성을 Table 4에 나타내었다. Loss function은 이진 분류에 적합한 ‘binary_crossentropy’를 사용하였다.
CNN model summary for weld quality classification
CNN 모델의 학습 과정은 최적화 매개변수를 사용하여 학습하였으며, 각 epoch에 따른 정확도와 손실율에 대한 결과는 Fig. 11과 같다. 초기 낮았던 정확도가 40 epoch 이후는 99% 이상으로 수렴하였으며, 검증 데이터도 98% 이상의 예측 정확도를 얻음을 확인할 수 있었다. 학습이 완료된 후 최종 정확도는 99.88 %에 수렴하였다.
Accuracy and loss value change according to epoch for CNN model training
6.2 이미지 분류 알고리즘 예측 성능 검증
개발된 CNN 알고리즘의 예측 성능을 확인하기 위하여 학습에 사용되지 않은 데이터에 대한 예측을 수행하였다. 예측에 사용한 실험 조건 데이터는 전류 260 A, 24 V의 적정 조건의 데이터이다. 용접부 비드 형상과 아크 용접중 아크 전압과 전류 그래프는 Fig. 12와 같다. 그림에서 보는 바와 같이 순간적인 아크 끊어짐에 의해 결함이 발생하였고 적정 용접과 불량의 결과가 동시에 있는 데이터이다.
Accuracy and loss value change according to epoch for CNN model training
실험을 통해 계측된 아크 이미지 631개를 입력하여 품질을 예측한 결과의 그래프는 Fig. 13이다. 그림에서 불량 조건에 해당되는 예측 결과는 0, 적정 조건에 해당되는 예측결과는 1로 나타냈다. Table 5은 예측 결과와 실제 결과를 비교한 Confusion matrix이다. 예측 결과 Accuracy는 98.26%, 정밀도는 0.9이다. 정밀도는 모델이 True라고 분류한 것 중에 실제 True의 비율로 본 연구에서는 적정 조건이라 분류한 것 중 실제 적정 조건 데이터의 양에 대한 비율이다. 결과에서 보는 바와 같이 이미지 분류 예측 정확도가 98% 이상의 높음을 확인하였다.
Arc image classification result for test set
Confusion matrix for test data
모델이 잘못 판단한 예로 불량 조건임에도 적정 조건이라 잘못 판단한 경우가 있었으며, 이 경우의 아크 이미지를 Fig. 14에 표시하였다. 그림에서 보는 바와 같이 플라즈마와 아크가 불안정한 상태이다. 이러한 경우는 처음 나타난 경우이며, 이러한 이미지는 학습에 사용되지 못한 불량 조건이다. 그래서 분류 모델이 잘못 판단한 것으로 사료된다. 향후 더 많은 데이터를 활용하여 모델을 학습시킨다면, 더 높은 정확도를 얻을 수 있을 것이다.
Acurracy and loss value change according to epoch for CNN model training
7. 결 론
본 논문에서는 AL5083 합금에 대하여 팁회전 아크 용접에서 카메라를 이용한 아크 용접 이미지를 계측하였고, 딥러닝 알고리즘을 활용하여 용접부 품질에 따른 이미지를 분류하는 모델을 개발하였다. 요약된 결론은 다음과 같다.
1) AL5083 합금에 대하여 팁회전 아크 용접을 수행할 수 있는 용접 시스템과 용접 모니터링 시스템을 구축하였고, 다양한 용접 조건 - 적정 용접, 저입열, 고입열, 고전류, 고전압 조건에 따른 용접을 수행하였고, 각 조건에 따라 용접 비드 형상과 단면을 분석하였다.
2) 카메라 이미지를 이용하여 각 용접 조건에 따른 아크 길이의 변화를 확인할 수 있었으며, 용접 품질과 이미지간의 매칭을 수행하였다. 그리고 딥러닝 알고리즘의 입력 데이터 셋을 구축하기 위하여 전처리 이미지 처리를 하였고, 바운딩 박스 처리를 활용하여 아크의 길이를 정량적으로 측정하였다.
3) 용접 품질에 따른 아크 이미지를 분류하기 위하여 CNN 알고리즘을 이용하였다. 각 공정 조건에 따른 이미지 5,203개를 학습하여 분류 모델을 구성하였다. 학습된 모델로 예측을 수행한 결과 정확도는 99.88%로 용접 시 아크 이미지를 기반으로 용접부의 품질을 판단할 수 있는 가능성을 확인하였다.
감사의 글
이 논문은 부경대학교 자율창의학술연구비(2021년)에 의하여 연구되었음