Detection of Hot Cracking for 6000 Series Aluminum Alloys using a Multi-Sensor Based Deep Learning Model

건민 김; 재헌 이; 승환 이

doi:10.5781/JWJ.2024.42.4.2

Abstract

This study developed a monitoring technology using a multi-sensor based deep learning model to diagnose hot cracking in aluminum alloy laser welding. Hot cracking that occurs during the laser welding process of aluminum alloys is difficult to diagnose accurately with a single sensor signal, necessitating multi-sensor based process monitoring technology. To monitor these hot cracks, laser-induced plasma, acoustic, and elastic wave signals were simultaneously measured using a spectrometer, non-contact acoustic sensor, and contact acoustic sensor during the overlap laser welding process of 6000 series aluminum alloys. The welded specimens were classified into normal and cracked specimens through bead analysis, and features related to hot cracking were extracted from each sensor signal to utilize the measured multi-sensor signals for monitoring. The extracted features from each signal were used as inputs for a Deep Neural Network (DNN) model capable of learning complex nonlinear relationships, and the hyperparameters of the DNN model were optimized using a genetic algorithm. The DNN model trained with multi-sensor data diagnosed hot cracking with an accuracy of 93.75%.

Key words: Aluminum alloy, Laser welding, Hot cracking, Deep learning, Feature extraction, Genetic algorithm

1. 서 론

최근, 자동차 제조 산업에서는 온실가스 감축을 위한 탄소 배출 규제와 자동차의 연비 개선에 대한 필요성이 대두됨에 따라, 철보다 비강도가 높은 알루미늄 합금의 차체 적용 비중이 증가하고 있다¹^-⁶⁾. 특히, 알루미늄 합금 중에서 Al-Mg계, Al-Mg-Si계 합금이라 불리는 5000계열과 6000계열 합금은 내식성 및 성형성이 우수하여 자동차의 도어나 프레임 등의 부품에 주로 적용되고 있다¹^,⁴^,⁶⁾. 이와 같은 알루미늄 합금 부품들을 제조하는 공정 중에서 레이저 용접 공정은 높은 에너지 밀도의 열원을 이용하여 공정 정밀도가 우수하고 생산성이 빠르다는 장점이 있어 많은 주목을 받고 있다⁷⁾.

그러나, 알루미늄 합금의 레이저 용접 공정에서는 용융풀이 응고되는 과정에서 작용하는 열응력에 의해 고온 균열이 발생하여 용접부의 강도를 저하시킨다는 문제가 있다⁸^-¹⁰⁾. 산업 현장에서는 이러한 용접부의 고온 균열을 진단하기 위한 방법으로 레이저 용접 공정 이후에 용접 비드의 단면을 분석하거나 X선을 이용한 비파괴 검사를 수행하고 있다. 그러나, 이와 같은 방법들은 값비싼 장비나 전문 인력이 요구되기 때문에 시간과 비용이 많이 소요된다. 이러한 문제를 개선하기 위해, 연구자들은 레이저 용접 공정 중에 용융풀과 비드 표면을 직접 모니터링하여 고온 균열을 진단하는 방법들을 연구하였다. Yan et al.¹¹⁾은 CCD 카메라를 사용하여 알루미늄 합금 용접부의 다양한 표면 결함을 진단하였다. 연구자들은 여러 각도에서 설치된 LED 조명을 통해 CCD 카메라로 용접부의 표면 결함이 뚜렷하게 나타나는 grayscale 이미지를 얻었으며, 이를 통해 용접부의 표면에 드러나는 균열, 기공, 스패터 등의 결함을 성공적으로 진단하였다. Shin et al.¹²⁾은 IR 카메라와 CCD 카메라를 사용하여 알루미늄 합금 용접 시 발생하는 균열을 진단하였다. 연구자들은 IR 카메라로 수집한 열이력과 CCD 카메라로 수집한 표면 형상을 통해, 용접부에 존재하는 균열을 99.31%의 정확도로 진단하였다. 하지만 제품의 품질을 확보하기 위해, 비드 표면에 드러나는 균열 뿐만 아니라, 내부에서 전파되기 시작하는 균열을 분석하는 것도 중요하다. 따라서, 연구자들은 IR 카메라와 CCD카메라가 아닌 다른 센서들을 이용하여 내부 균열을 진단하는 방법을 연구하였다. Jia et al.¹³⁾은 레이저 용접 공정에서 접촉식 어쿠스틱 센서로 계측한 탄성파를 분석하여 알루미늄 합금의 내부 고온 균열을 진단하였다. 연구자들은 고온 균열이 발생할 때 큰 진폭을 가진 탄성파가 계측된다는 사실을 밝혀냈으며, 이를 통해 접촉식 어쿠스틱 센서를 사용한 내부 고온 균열의 모니터링 가능성을 제시하였다. 그러나, 레이저 용접 공정에서는 고온 균열이 발생할 때 뿐만 아니라 키홀의 생성 및 붕괴와 레이저 유도에 의한 플라즈마 발생 시에도 탄성파가 발생하기 때문에 접촉식 어쿠스틱 센서만으로 고온 균열을 진단하는 것은 한계가 있다. 따라서, 고온 균열을 정확하게 진단하기 위해서는 다중 센서를 이용하여 고온 균열이 발생할 때 나타나는 다양한 신호를 계측하고 이를 모니터링에 활용해야 한다.

다중 센서를 통해 계측된 신호들을 고온 균열 진단에 활용하기 위해서는 각 신호 간의 상관관계를 분석하고 다중 센서 신호들을 하나의 데이터로 융합하는 과정이 필요하다. 다중 센서로 계측한 신호들을 분석하고 융합하는 대표적인 방법으로는 다중 선형 회귀(Multiple Linear Regression)와 주성분 분석(Principal Com- ponent Analysis)이 있는데, 이들은 독립 변수와 종속 변수 간의 상관관계를 분석하는 데 효과적인 방법이다. 다중 선형 회귀 방법은 빠른 계산 속도로 인해 변수들 간의 상관관계를 빠르게 분석할 수 있지만, 용접 공정에서 계측된 용접 신호들 간의 비선형 관계는 분석하지 못한다¹⁴⁾. 주성분 분석은 데이터의 차원을 축소하여 주요 특징을 추출하는 장점으로 인해 다양한 센서로부터 수집한 패턴을 쉽게 분석할 수 있지만, 선형 회귀 분석 방법과 동일하게 비선형 관계가 큰 신호들은 잘 분석하지 못한다¹⁵⁾. 이러한 문제를 해결하기 위해, 연구자들은 다층 신경망 구조를 통해 용접 신호들 간의 비선형 관계를 분석할 수 있는 딥러닝 모델에 주목하고 있다¹⁶^-¹⁸⁾. Kang et al.¹⁹⁾은 알루미늄-구리 레이저 용접 공정에서 다중 센서로 계측한 신호를 융합하여 용접부의 깊이를 실시간으로 예측하는 딥러닝 모델을 개발하였다. 연구자들은 비전 센서와 포토다이오드 센서로 계측한 신호들을 Convolutional Neural Network (CNN) 모델에 학습시켜, 용접부의 용입 깊이를 예측하였다. 그 결과, CNN 모델은 0.04 mm의 평균 절대 오차(Mean Absolute Error)로 용입 깊이를 정확하게 예측하였다. Cao et al.²⁰⁾은 다중 센서로 계측한 신호를 융합하여 주요한 특징들을 학습하는데 특화된 Cross-Attention Fusion neural network(CAFNet) 모델을 개발하였다. 연구자들은 비접촉식 어쿠스틱 센서와 포토다이오드 센서로 계측한 신호를 CAFNet 모델에 학습시켜, 용접부의 용입 깊이를 진단하였다. 그 결과, 딥러닝 모델은 용접부의 과용입, 부분 용입, 정상 용입 상태를 99.73%의 높은 정확도로 진단하였다. 이와 같이, 알루미늄 합금 레이저 용접 공정 중에 용입 깊이를 예측하기 위해 다중 센서 기반의 딥러닝 모델을 이용한 사례는 있었으나, 이러한 딥러닝 모델을 이용하여 고온 균열을 진단한 연구는 없었다. 만약, 알루미늄 합금의 레이저 용접 공정 중에 다중 센서 신호를 기반으로 한 딥러닝 모델이 높은 정확도로 고온 균열을 진단할 수 있다면, 산업 현장에서 알루미늄 합금 레이저 용접부의 품질 검사에 소요되는 비용과 시간을 획기적으로 절감할 수 있다.

본 연구에서는 알루미늄 합금의 레이저 용접 공정에서 다중 센서 기반의 딥러닝 모델을 사용하여 고온 균열을 진단하는 방법을 개발하였다. 이를 위해 6000계열 알루미늄 합금의 겹치기 레이저 용접 공정 중에 분광계와 비접촉식 어쿠스틱 센서, 접촉식 어쿠스틱 센서를 사용하여 레이저 유도 플라즈마와 음향 및 탄성파 신호가 동시에 계측되었다. 용접된 시편은 비드 분석을 통해 정상 시편과 균열 시편으로 구분되었으며, 계측된 다중 센서 신호들을 고온 균열 모니터링에 이용하기 위해 각 신호로부터 균열과 연관된 특징들이 추출되었다. 각 신호로부터 추출된 특징들은 복잡한 비선형 관계를 학습할 수 있는 DNN 모델의 입력으로 사용되었으며, 우수한 고온 균열 진단 성능을 확보하기 위해 유전 알고리즘을 이용하여 DNN 모델의 하이퍼파라미터가 최적화되었다.

2. 실험 방법

Fig. 1은 알루미늄 합금의 용접 공정 시스템을 나타낸다. 시편은 크기 100 mm × 30 mm에 두께 1.2 mm의 Al 6014-T4를 사용하였으며, 화학적 조성은 Table 1에 나타내었다. 실험은 Al6014-T4를 상판과 하판으로 사용하는 겹치기 용접으로 수행되었다. 실험에 사용된 레이저 장비는 1030 nm의 파장을 가지는 4 kW 디스크 레이저(TruDisk 4000, TRUMPF)이다. Fig. 1(a)에 보이는 것과 같이, 레이저 헤드는 6축 산업용 로봇(KR22-1610, KUKA)에 부착되어 용접 경로가 제어된다. 용접 속도는 1 m/min으로 고정한 상태에서 X축을 따라 용접하였다. 레이저 반사에 의한 광학계 손상을 줄이기 위해 레이저 헤드는 수직 방향(z축)에서 10° 기울어지게 하였다. 용접부에 불순물이 혼입되는 것을 방지하기 위해 아르곤 가스를 보호가스로 사용하였다.

Table 1

Chemical composition of Al 6014-T4

Material	Chemical composition (wt.%)
Material	Al	Mg	Si	Fe	Cu	Mn	Cr
Al 6014-T4	Bal.	0.65	0.60	0.23	0.13	0.08	0.01

Fig. 1

Aluminum alloy overlap welding system, (a) welding experiment environment, (b) schematic of experimental setup

정상 비드와 결함 비드를 만들기 위해, welding speed를 고정하고 beam diameter와 laser power를 변경해가며 용접을 수행하였으며, 상세 공정 조건은 Table 2에 나타나 있다. 정상 시편은 레이저를 X축을 기준으로, 시편 내의 10 mm부터 90 mm까지 조사한 조건에서 제작되었고, 균열 시편은 레이저를 X축을 기준으로 시편 외부에서 조사하기 시작하여 시편 내부의 90 mm까지 조사한 조건에서 제작되었다.

Table 2

Process variables of the laser welding experiment

	Sound bead	Defect bead
Welding starting point	Outside specimen	Inside specimen
Laser power	400, 500, 600, 700 [W]	2000 [W]
Beam diameter (D)	100 [㎛]	400 [㎛]
Welding speed (V)	1 [m/min]
Laser head tilt angle (θ)	10 [degree]
Laser beam wavelength (λ)	1,030 [nm]

용접 데이터는 균열과 관련된 다양한 특징들을 추출하기 위하여, 레이저가 조사되는 위치에서 150 mm 떨어진 위치에 부착된 분광계(HR4Pro, Ocean Optics)와, 150 mm 떨어진 위치에 부착된 비접촉식 어쿠스틱 센서(378C01, PCB Piezotronics), 그리고 welding jig의 상판에 부착된 접촉식 어쿠스틱 센서(R15i, Phy- sical Acoustics Corp.)를 통해 실시간으로 측정하였다. 비접촉식 어쿠스틱 센서는 높은 204.8 kHz의 높은 sampling rate로 인해, PXIe-8301/4464가 부착된 chassis(PXIe-1071, National Instruments)로 데이터를 계측하였다. 분광계는 레이저 파장(1030 nm)을 포함하지 않으며, 100 Hz의 sampling rate로 300 nm에서 875 nm 사이에 있는 3648개의 Spectral line intensity를 측정하였다. collimating lens를 통해 플라즈마 광원을 수집하며, 이를 VISA 통신을 통해 컴퓨터로 데이터를 전송한다. 비접촉식 어쿠스틱 센서는 레이저가 조사되는 위치에서 150 mm 떨어진 위치에서 음향 신호를 계측하여 DAQ module(PXIe-4464, National Instruments)로 계측한 데이터를 전송한다. 접촉식 어쿠스틱 센서는 시편을 고정하는 용접 지그에 부착되며, 시편으로부터 전달되는 탄성파의 강도가 특정 threshold을 초과할 때 데이터를 수집한다. Fig. 2(a)와 Fig. 2(b)는 용접 실험을 통해 획득한 시편 중에서 각각 균열이 발생한 시편과 균열이 발생하지 않은 시편을 나타낸다. 계측된 신호를 라벨링하기 위해, 용접된 시편을 광학현미경(OM)으로 관찰하여 균열이 발생한 영역과 균열이 없는 영역을 구분하였다.

Fig. 2

Laser welding results of aluminum alloy, (a) specimen with cracks, (b) specimen without cracks

3. 공정 모니터링을 위한 방법론

3.1 다중 센서 신호의 전처리

분광계, 비접촉식 어쿠스틱 센서, 접촉식 어쿠스틱 센서로 계측한 신호들은 레이저 용접 공정 중 발생하는 복잡한 물리 현상이 반영된 고차원의 정보들로 구성되어 있기 때문에, 이를 그대로 DNN, CNN과 같은 딥러닝 모델의 입력으로 사용하여 용접 공정 모니터링을 수행할 경우에는 방대한 데이터를 처리하는 과정에서 많은 계산 비용과 시간이 소요된다. 또한, 이와 같이 다중 센서로 계측된 고차원의 데이터에는 고온 균열과 관련된 정보 뿐만 아니라 불필요한 정보 및 다양한 형태의 노이즈가 함께 포함되어 있기 때문에 용접 공정 모니터링 성능을 저하시킬 수 있다. 따라서, 용접 공정 모니터링을 위해서는 계측된 신호를 전처리하고 이로부터 고온 균열과 연관성이 높은 특징을 추출하는 것이 필요하다. 본 연구에서는 3가지 센서로부터 계측되는 신호로부터 고온 균열과 연관된 정보를 추출하고 센서 데이터 간의 융합을 용이하게 하기 위해 각 센서의 특성에 적합한 신호 전처리를 수행하고 전처리된 신호로부터 특징을 추출하는 방식을 적용하였다.

3.1.1 스펙트럼 데이터 전처리 방법

Fig. 3은 분광계로 계측한 스펙트럼 데이터를 모니터링에 사용하기 위해 전처리하는 과정을 나타낸다. 전체 5초의 용접 구간 중, 용융풀이 안정화되는 구간인 0.5초부터 4.5초 사이의 스펙트럼 데이터가 온 균열을 진단하는데 사용되었다. 알루미늄 합금의 성분 변화를 모니터링하기 위해 용접 공정 중 발생하는 플라즈마로부터 스펙트럼 데이터를 계측하여 분석하였다. 용접 공정 중 발생하는 고온 균열은 용융풀이 응고될 때 결정립계에 저융점 원소가 모여 형성된 liquid film이 열변형으로 인해 찢어져 발생한다. 이러한 원소들의 변화량을 분석하기 위해, NIST 데이터베이스에서 전자의 에너지 방출을 나타내는 아인슈타인 방출 계수가 10⁶S^-1 이상인 spectral line 10개를 선정하였다. 이 spectral line들은 알루미늄 합금을 구성하는 주요 원소들의 방출 특성을 반영하며, 특정 원소가 속한 파장의 강도(intensity) 분석을 통해 원소의 변화량을 관찰할 수 있다. 선정된 파장은 Table 3에서 볼 수 있다. 이렇게 선정된 spectral line들의 intensity 값은 균열과 관련된 특징을 추출하기 위해 0.5초의 time window 크기로 분할되었다.

Fig. 3

Flowchart of spectrum data preprocessing

Table 3

Selected 10 spectrum wavelengths

Element	Wavelength [nm]	Element	Wavelength [nm]
Al I	309.32	Fe I	292.84
Al I	396.13	Mn I	279.50
Mg I	285.21	V I	437.98
Mg I	769.14	Cr I	396.91
Si I	288.06	Ti I	294.23

3.1.2 비접촉식 어쿠스틱 데이터 전처리 방법

Fig. 4는 비접촉식 어쿠스틱 데이터의 주파수 성분을 분석하기 위해 전처리하는 과정을 나타낸다. 전체 5초의 용접 구간 중, 용융풀이 안정화되는 구간인 0.5초부터 4.5초 사이의 비접촉식 어쿠스틱 데이터를 사용하였다. 비접촉식 어쿠스틱 데이터는 분광계 데이터와 동일하게 0.5초의 time window 크기로 분할한다. 균열 발생 시 주파수 영역에서 나타나는 신호의 변화를 분석하기 위해, Fast Fourier Transform(FFT)을 적용하여 각 time window 내의 시간 영역 데이터를 주파수 영역으로 변환하였다. 해당 주파수 영역에서 균열 발생 시 어떤 주파수 band의 신호가 변화하는지를 분석하기 위해, 전체 주파수 영역(0~102.4 kHz)을 10 kHz씩 10개의 주파수 band로 분할하였다. 이렇게 분할한 주파수 밴드는 Table 4에 나와 있다.

Fig. 4

Flowchart of non-contact acoustic data preprocessing

Table 4

Selected 10 frequency bands

	1^st	2^nd	3^rd	4^th	5^th	6^th	7^th	8^th	9^th	10^th
Frequency band [kHz]	0~10	10~20	20~30	30~40	40~50	50~60	60~70	70~80	80~90	90~100

3.1.3 접촉식 어쿠스틱 데이터 전처리 방법

용접 공정에서 재료 내 균열이 발생하거나 균열이 전파될 때 생성되는 변형 에너지는 탄성파를 방출시킨다. 이러한 탄성파 파동은 알루미늄 시편을 따라 전파되며, 용접 지그에 부착된 접촉식 어쿠스틱 센서에 의해 감지된다²¹⁾. 신호의 노이즈를 제거하고 균열과 관련된 탄성파를 계측하기 위해, 용접이 진행 중이지 않을 때 계측된 신호의 최대 크기인 40 dB를 threshold로 지정하였다. 이 threshold를 초과하는 탄성파를 균열과 관련된 신호로 정의하였다. 그 결과, Fig. 5와 같이 탄성파의 강도가 threshold를 초과할 때, 접촉식 어쿠스틱 센서에 의해 하나의 hit으로 기록된다. 용접된 구간에서 탄성파가 발생할 때 두 개의 어쿠스틱 센서 각각에서 1st channel의 hit(붉은색)과 2nd channel의 hit(파란색)이 동시에 계측된 것을 확인 가능하다. 각 hit은 접촉식 어쿠스틱 센서로 계측한 40 dB 이상의 탄성파 신호가 포함되어 있으며, 해당 탄성파의 amplitude와 duration, energy, frequency 분석을 통해 균열과 관련된 특징을 추출할 수 있으며, 이는 3.2절에서 자세히 설명할 예정이다. 전체 5초의 용접 구간 중, 용융풀이 안정화되는 구간인 0.5초부터 4.5초 사이에서 접촉식 어쿠스틱 데이터가 추출되었다. 신호는 분광계와 비접촉식 어쿠스틱 데이터와 동일하게 0.5초의 time window 크기로 분할되었으며, 이 과정에서 threshold을 기준으로 데이터가 계측된 구간(붉은 점선)과 계측되지 않은 구간(검은 점선)이 존재하게 된다. 따라서, 접촉식 어쿠스틱 센서의 계측 여부와 알루미늄 합금의 균열 발생 유무에 따라 총 4가지로 구분하여, 3.3절에서 설명할 딥러닝 모델의 input data로 사용하였다.

Fig. 5

Flowchart of contact acoustic data preprocessing

3.2 전처리된 데이터의 특징 추출

분광계, 비접촉식 어쿠스틱 센서, 접촉식 어쿠스틱 센서로 계측한 신호로부터 노이즈 신호를 제거하고 균열과 관련된 유의미한 정보만을 남기기 위해서는 각 센서 신호 데이터들에 적합한 특징 추출 과정이 요구된다. 0.5초부터 4.5초까지의 계측 구간 내에서 연속적으로 계측되는 분광계와 비접촉식 어쿠스틱 신호는 시간에 따른 데이터의 변화를 분석하기 위해 각 time window에서 mean, RMS(Root Mean Square) 등의 5가지 통계적 특징을 추출하였다. 이러한 통계적 특징들은 Table 5에 제시되어 있다. 분광계에서는 3.1.1 절에서 선정한 10개의 파장에서 시간에 따른 intensity 값을 측정하여 총 50개의 특징이 추출되었다. 비접촉식 어쿠스틱 센서에서는 3.1.2절에서 분할한 10개의 주파수 band로부터 5개의 통계적 특징을 계산하여, 총 50개의 특징이 추출되었다. 이와 다르게, 접촉식 어쿠스틱 센서로 계측된 특정 세기 이상의 탄성파들은 불연속적으로 계측되기 때문에 시간에 흐름에 따른 데이터의 변화를 분석하는데 제약이 있다. 따라서 시간적 특성을 반영한 통계적 특징 대신에, hit으로 계측된 탄성파의 파형 내에 균열이 발생할 때 나타나는 정보들을 담고 있는 Risetime, Counts to Peak 등의 12가지 음향 방출 특징을 Table 6과 같이 추출하여 데이터 분석에 활용한다.

Table 5

Statistical features of data measured by spectrometer and non-contact acoustic sensor

Feature name	Definition	Equation
Mean	The sum of all values divided by the number of values	1N∑xn
RMS (Root Mean Square)	The square root of the average of the squared values	1N∑\|xn\|2
Std (Standard deviation)	The square root of the average of the squared deviations from the mean	1N−1∑\|xn−μ\|2
Median	The middle value in an ordered dataset	size of (n2)th data
Max	The highest value in the dataset	x_max

Table 6

Features of data measured by contact acoustic sensor

Feature name	Definition	Equation
Risetime	Time from signal start to peak	Δt_{(Start to Peak)}
Counts to Peak	Number of counts from start to peak	counts_{(Start to Peak)}
Counts	Number of counts in the signal	counts _(total)
Energy	Energy of the signal	∑\|xn\|2
Duration	Time from start to end of the signal	Δt_{(Start to end)}
Amplitude	Maximum amplitude of the signal	max (X)
Average Frequency	Average frequency	1N∑frequencyn
RMS (Root Mean Square)	Root mean square of the signal	1N∑\|xn\|2
Reverberation Frequency	Reverberation frequency of the signal	1N∑frequencyn
Initiation Frequency	Frequency at the start of the signal	1N∑frequencyn
Frequency Centroid	Center frequency of the signal	∑(frequencyn×Xn)∑Xn
Peak Frequency	Frequency at maximum energy	frequency at max (X)

3.3 딥러닝 모델 구축

3.2절에서 추출한 특징들을 융합하여 용접 공정 중 발생하는 고온 균열을 진단하기 위해, 여러 개의 hidden layer들을 통해 비선형 특징을 학습하는 데 특화된 DNN 모델을 사용하였다. Fig. 6은 딥러닝 모델 DNN의 구조를 나타낸다. 먼저, input layer에서 다양한 특징들이 early fusion 방식으로 융합된다. 그런 다음, fully connected layer들이 이어지며, 각 레이어 간 연결부에는 dropout 기법을 적용하여 모델의 과적합을 방지하고 일반화 성능을 향상시킨다. 마지막으로, output layer에서는 softmax 함수를 사용하여 네 개의 class에 대한 확률 값을 출력한다. Fig. 7은 네 개의 class로 분류된 input data를 나타낸다. 3.1.3절에서 설명한 것처럼, DNN 모델의 input data로 사용하기 위해 접촉식 어쿠스틱 센서의 계측 여부와, 알루미늄 합금의 균열 발생 유무를 기준으로 데이터 라벨링을 수행하였다. 접촉식 어쿠스틱 데이터는 threshold를 초과하는 값만 계측되었기 때문에, 라벨링은 데이터가 계측된 조건과 계측되지 않은 조건으로 나뉜다. 이러한 조건들은 균열 여부에 따라 총 4개의 class로 분류된다. 접촉식 어쿠스틱 데이터가 계측된 조건에서 균열 발생 여부에 따라 class 0과 class 1로 구분되며, 계측되지 않은 조건에서는 균열 발생 여부에 따라 class 2와 class 3로 구분되었다. Class 2와 3에서는 접촉식 어쿠스틱 데이터가 계측되지 않았으므로, 음향 방출 데이터 값 대신 0을 입력하여 다른 class와 동일한 크기의 데이터셋을 구성하였다. 데이터셋을 구성하기 위해 총 10회의 실험이 수행되었으며, 각 실험별로 계측된 4초의 데이터로부터 0.5초의 time window를 적용하여 총 80개의 time window를 라벨링되었다. 이렇게 구성된 데이터셋은 Fig. 8에서 볼 수 있듯이 한 번의 time window 내에 분광계의 50개의 통계적 특징, 비접촉식 어쿠스틱 센서의 50개의 통계적 특징, 접촉식 어쿠스틱 센서의 12개의 음향 방출 특징이 포함된 총 112개의 특징들을 포함한다. 80개의 time window로 구성된 데이터셋은 DNN 모델 학습을 위해 80%는 학습 데이터로, 나머지 20%는 테스트 데이터로 분할되었다.

Fig. 6

DNN model for hot crack diagnosis

Fig. 7

Labeling four classes

Fig. 8

Overview of input data for DNN model

3.4 딥러닝 모델 최적화

딥러닝 모델의 성능은 learning rate, batch size, epoch 등 다양한 하이퍼파라미터에 의해 좌우되므로, 용접 공정 중에 고온 균열을 높은 정확도로 진단하기 위해서는 최적의 하이퍼파라미터 조합을 찾는 것이 중요하다. 이를 위해 자연 선택 및 적자 생존을 모사한 전역 탐색 알고리즘인 유전 알고리즘이 딥러닝 모델의 하이퍼파라미터를 최적화하는데 이용되었다. 유전 알고리즘은 최적점을 탐색하는 과정에서 미분에 기반한 기울기 값을 이용하지 않기 때문에 지역 최적점에 빠질 위험이 적으며, 여러 종류의 하이퍼파라미터 조합을 병렬로 동시에 평가할 수 있어 다변량 전역 최적화 문제를 해결하는데 용이하다는 장점을 가진다. Fig. 9는 유전 알고리즘을 사용하여 딥러닝 모델을 최적화하는 과정을 나타낸 flowchart이다. 유전 알고리즘의 최적화 과정은 선택(Selection), 교배(Crossover), 돌연변이(Mutation)의 세 가지 단계로 구성된다. 처음에는 10개의 무작위 하이퍼파라미터 조합으로 시작하며, 각 generation마다 우수한 정확도를 보이는 상위 50%의 하이퍼파라미터 조합만 선택한다. 선택된 5개의 하이퍼파라미터 조합은 parent 하이퍼파라미터로 사용되며, 다음 generation의 조합들을 생성하기 위해 교배와 돌연변이 연산이 적용된다. 교배 연산은 선택된 5개의 parent 하이퍼파라미터 조합 내 epoch, dropout과 같은 인자들의 절반을 무작위로 섞어 새로운 child 하이퍼파라미터 조합을 생성한다. 이를 통해 총 10개의 child 하이퍼파라미터 조합이 생성되며, 각 child 조합은 parent 조합의 특징을 일부 물려받아 다양한 하이퍼파라미터 조합이 생성된다. 돌연변이 연산은 선정된 하이퍼파라미터 조합 중 10%를 무작위로 변경하여 최적화 과정에서 전역해에 갇히는 것을 방지한다. 본 연구에서는 다중 센서 기반 딥러닝 모델을 최적화하기 위해 유전 알고리즘을 이용하여 최소 10번의 generation을 생성하도록 설정하였다. 만약, 10번의 generation에서도 4.1절에서 설명할 초기 딥러닝 모델의 분류 정확도인 90%를 초과하지 못하면, 해당 분류 정확도를 초과할 때까지 추가 generation들을 생성하여 최적화를 반복했다. DNN 모델을 최적화하기 위해 사용한 하이퍼파라미터 값들은 Table 7에 나타나 있다. 특히, hidden layer의 개수와 각 layer에서의 node 수의 경우에는 모델의 layer가 깊어지고 node의 수가 많을수록 용접 신호의 복잡한 비선형 특성을 학습하는데 유리하지만, 지나치게 많은 layer와 node 수는 학습 데이터의 과적합을 유발하기 때문에 적절한 값을 선정하는 것이 중요하다. 본 연구에서는 이를 위하여 hidden layer의 수를 최소 1개에서 최대 8개가지로 제한하고 각 layer의 node 수 또한 10개에서 200개로 제한하였다. 유전 알고리즘을 이용하여 최적화된 딥러닝 모델의 성능을 평가하기 위해, 동일한 하이퍼파라미터 범위 내에서 manual search로 구축한 초기 딥러닝 모델의 성능은 다음 장에서 비교하였다.

Fig. 9

Genetic algorithm optimization flowchart

Table 7

Hyperparameter values of the deep learning models used

Hyperparameters	Available value
Number of hidden layers	1 ~ 8
Number of nodes in each layer	10 ~ 200
Epoch	50 ~ 500
Learning rate	0.0001 ~ 0.01
Batch size	8, 16, 32, 64
Dropout	0.1, 0.2, 0.3, 0.4, 0.5, 0.6

4. 결과 및 논의

4.1 Manual search를 적용한 초기 딥러닝 모델의 고온 균열 진단 성능 평가

Table 8은 다중 센서 데이터를 학습하기 위한 DNN 모델의 하이퍼파라미터 조합을 trial and error 방식인 manual search로 찾은 결과를 나타낸다. Manual search 결과, DNN 모델의 hidden layer 개수를 2개, dropout을 0.5로 설정했을 때 고온 균열 분류 성능이 가장 우수하였다. 또한 학습 횟수(epoch)가 증가할수록 고온 균열 분류 정확도가 증가하였다. 최종 선정된 하이퍼파라미터 조합은 epoch 300, learning rate 0.001, batch size 16이며, 이는 Table 8에 붉은색으로 표시되었다. 이 조합을 딥러닝 모델에 적용하였을 때 고온 균열 분류 정확도는 90%였다.

Table 8

Results of 5 manual searches for hyperparameter optimization of the deep learning model

Run	Number of hidden layers	Number of nodes in each hidden layer / Number of dropouts in each hidden layer								Epoch	Learning rate	Batch size	Accuracy
Run	Number of hidden layers	1st	2nd	3rd	4th	5th	6th	7th	8th	Epoch	Learning rate	Batch size	Accuracy
1	4	64 / 0	32 / 0	16 / 0	8 / 0					100	0.0005	32	0.8375
2	2	128 / 0.2	64 / 0.2							300	0.005	8	0.875
3	3	128 / 0.5	64 / 0.5	64 / 0.5						300	0.001	16	0.875
4	2	128 / 0.5	64 / 0.5							300	0.001	16	0.9
5	2	128 / 0.5	64 / 0.5							100	0.001	16	0.875

선정된 하이퍼파라미터 조합을 적용한 초기 딥러닝 모델의 성능을 평가하기 위해 confusion matrix를 사용하였다. Confusion matrix는 진단 결과와 실제 결과를 비교하여 모델의 진단 성능을 평가하는 방법으로, 각 class별 진단 결과를 matrix 형태로 확인할 수 있다. Fig. 10은 confusion matrix를 이용하여 분석한 초기 딥러닝 모델의 성능 평가 결과를 나타낸다. 탄성파인 hit이 계측된 input data는 94.74%, hit이 계측되지 않은 input data는 78.26%의 분류 정확도를 보였다. 이러한 결과는 계측된 특징들이 증가함에 따라 고온 균열과 연관된 특징을 정확하게 식별하여 높은 분류 정확도로 고온 균열을 진단하였음을 나타낸다.

Fig. 10

Performance evaluation results of the initial deep learning model

4.2 유전 알고리즘을 이용하여 최적화된 딥러닝 모델의 고온 균열 진단 성능 평가

Table 9는 다중 센서 데이터를 학습하기 위한 DNN 모델의 하이퍼파라미터 조합을 유전 알고리즘을 통해 최적화한 과정을 나타낸다. 유전 알고리즘을 통해 genera- tion이 거듭될수록 하이퍼파라미터 조합 내에서 우수한 인자들만 선택되어 다음 generation으로 전달되기 때문에, 이전 generation보다 분류 정확도가 상승한다. DNN 모델의 hidden layer 개수는 3개로 설정했을 때 분류 정확도가 가장 높았다. 유전 알고리즘을 통해 도출한 하이퍼파라미터 값들은 특정 값으로 수렴하려는 경향을 보였다. 초기 hidden layer의 node 수는 대체로 100 이상이었으나, 최종 결과는 100 이하의 node들로 선정되었다. 또한 hidden layer별 dropout 값은 0.4 이하의 dropout 값만 선정되었으며, 0.5 이상의 dropout 값은 고온 균열 진단 성능을 저하시키는 것으로 확인되었다. Manual search로 설정한 초기 딥러닝 모델과는 달리, 유전 알고리즘을 통해 epoch 값이 105일 때 가장 우수한 성능을 보였다. 이는 epoch 값이 크다고 항상 성능이 좋지만은 않은 것을 의미한다. 초기 generation에서는 learning rate가 0.0001로 너무 낮아 고온 균열을 제대로 진단하지 못했으나, generation이 거듭될수록 learning rate가 0.001로 수렴한 조합이 선정되었고, batch size는 16으로 수렴되었다.

Table 9

Result of 10 applications of genetic algorithm for hyperparameter optimization of the deep learning model

Generations	Number of hidden layers	Number of nodes in each hidden layer / Number of dropouts in each hidden layer								Epoch	Learning rate	Batch size	Accuracy
Generations	Number of hidden layers	1st	2nd	3rd	4th	5th	6th	7th	8th	Epoch	Learning rate	Batch size	Accuracy
1	6	78 / 0.6	137 / 0.3	96 / 0.1	101 / 0.6	157 / 0.2	61 / 0.2			247	0.0001	32	0.6875
2	2	125 / 0.3	106 / 0.6							463	0.0001	8	0.825
3	3	125 / 0.4	161 / 0.3	168 / 0.6						470	0.002	16	0.9
4	3	192 / 0.2	50 / 0.4	53 / 0.1						357	0.005	8	0.9125
5	3	192 / 0.2	50 / 0.4	53 / 0.1						357	0.001	16	0.925
6	3	35 / 0.6	50 / 0.5	95 / 0.1						285	0.001	16	0.925
7	3	157 / 0.2	168 / 0.2	95 / 0.4						285	0.002	8	0.925
8	3	120 / 0.3	168 / 0.2	238 / 0.2						337	0.002	16	0.9375
9	3	89 / 0.4	69 / 0.4	88 / 0.1						295	0.001	16	0.9375
10	3	80 / 0.4	50 / 0.4	88 / 0.1						105	0.001	16	0.9375

최적화된 딥러닝 모델의 성능을 평가하기 위해 confusion matrix를 사용하였다. Fig. 11은 confusion matrix를 이용한 최적화된 딥러닝 모델의 성능 평가 결과를 나타낸다. 유전 알고리즘을 적용하여 최적화된 딥러닝 모델은 manual search로 구축된 초기 모델에 비해 정확도가 3.75% 증가하여, 고온 균열 분류 정확도가 93.75%로 나타났다. 각 클래스별 정확도를 자세히 살펴보면, 탄성파 hit이 계측된 time window는 98.26 %, hit이 계측되지 않은 time window는 82.61%의 진단 정확도를 보였으며, 이는 초기 모델에 비해 약 4% 증가한 수치이다. 이 결과는 딥러닝 모델이 특징 개수가 증가함에 따라 고온 균열과 연관된 신호를 더 정확하게 식별하여 고온 균열 진단 정확도가 향상됨을 나타낸다.

Fig. 11

Performance evaluation results of the optimized deep learning model

5. 결 론

본 연구에서는 6000계열 알루미늄 합금의 겹치기 용접 공정에서 고온 균열을 진단하기 위해 다중 센서 기반의 딥러닝 모델을 개발하였다. 연구의 주요 결과는 다음과 같다.

1) 알루미늄 합금의 레이저 용접 공정 중 분광계, 비접촉식 어쿠스틱 센서, 접촉식 어쿠스틱 센서를 이용하여 레이저 유도 플라즈마, 음향 및 탄성파 신호를 계측하였으며, 연속적으로 계측되는 알루미늄 합금을 이루는 원소들의 방출 스펙트럼 line와 음향 신호의 주파수 band로부터 통계 분석을 수행하고, 이산적으로 계측되는 탄성파의 파형을 분석함으로써 고온 균열과 연관된 특징을 추출하였다.
2) 다중 센서에서 추출한 특징들로부터 고온 균열이 발생할 때 나타나는 특징들을 학습할 수 있는 DNN 모델을 구축하였다. 학습된 DNN 모델은 어쿠스틱 센서를 통한 탄성파의 계측 여부에 따라 약 16%의 고온 균열 진단 정확도 차이를 보였으며, 알루미늄 합금 용접부에 존재하는 고온 균열을 약 90%의 정확도로 분류하였다.
3) 고온 균열 진단 모델의 성능을 개선하기 위해 유전 알고리즘 기법을 사용하여 하이퍼파라미터를 최적화하였다. 유전 알고리즘을 이용하여 최적화된 최종 모델은 manual search를 적용한 모델에 비해 hidden layer의 수는 한 층 더 증가하였고 각 layer 별 node 수는 감소하였으며, epoch는 약 1/3로 감소하였다. 최적화된 하이퍼파라미터를 적용하여 학습한 고온 균열 진단 모델은 93.75%의 정확도로 고온 균열을 진단하였다.