1. 서 론
자동차 산업에서는 배기가스 규제 강화와 충돌 안전 기준을 만족하고 연비를 향상시키기 위하여 차체 경량화가 요구되고 있다1). 차체 경량화를 위해 초고강도강, 알루미늄, 복합재 등의 경량 다종 소재의 적용이 증가하는 추세이다2). 그러나 기존의 용융 용접을 이종소재 접합에 적용하였을 때, intermetallic compound 층 형성, 열-기계적 특성의 큰 차이 등의 용접 접합부에서 결함이 발생한다. 이러한 문제점을 해결하기 위해 이종 소재 접합을 할 때 기계적 체결이 대안으로 제안된다. SPR 접합은 공정 시간이 짧으며 냉간 공정으로 열 영향에 대한 부작용이 없어 유해 부산물이 발생하지 않는다는 장점을 가지고 있다3). SPR 접합은 가압된 리벳이 상부 판재를 관통하고, 하부 판재 아래에 위치한 다이의 형상에 따라 하부 판재 내부에서 리벳 다리가 벌어져 고정되는 냉간 성형 방식의 기계적 체결 공정이다4).
그러나 현재 SPR 접합부의 비파괴 품질 검사가 존재하지 않기 때문에 파괴 검사의 일종인 단면 분석을 하거나 외관 검사, 기계적 물성 평가를 통해 품질 검사가 이루어져 비용 및 시간이 많이 소요된다. 이러한 이유로 용접부 비파괴 품질 모니터링을 하기 위한 방법으로 최근에는 딥러닝이나 기계학습 기법을 SPR 공정뿐만 아니라 용접 접합 분야에 적용하려는 시도가 확대되고 있다. 단일센서를 사용한 예측 모델의 경우로, Lee 등은 Convolution Neural Network(CNN)을 사용하여 GMAW 용접부에서의 이면비드 발생을 예측할 수 있는 모델을 개발하였다5). You 등은 고강도강 겹치기 레이저 용접부의 인장 강도와 파단모드 분류 및 회귀 모델을 개발하였다6). Lee 등은 Al/Cu 레이저 겹치기 용접부의 침투 모드에 대한 분류를 위해 Support Vector Machine(SVM) 모델을 활용하였다7). SPR 연구 분야에서 Oh 등은 가압력을 입력변수로 활용하여 CNN 모델을 통해 단면 측정 인자를 예측하였다8). Schromm 등은 SPR 접합부의 CT데이터에서 리벳 헤드 높이를 측정하여 품질 분류를 수행하였다9). 멀티 센서를 적용하여 취득한 데이터를 통해 머신러닝에 적용하는 연구가 증가하고 있는 상황이다. Meiners 등은 기계적 체결 공정에서 발생하는 변위와 하중 그래프를 예측을 수행하였다10). Cullen 등은 Gas Metal arc welding(GMAW)에서 전류, 전압 및 음향센서를 활용하여 금속 전달 모드를 분류하였다11). 그러나 아직까지 SPR 접합 품질 예측 모델링에 대한 연구나 추가적인 센서를 통한 머신러닝 적용은 많이 이루어지지 않았다.
본 연구에서는 Self-Piercing Riveting 공정 중 취득 가능한 변위, 하중, 음향 신호 데이터를 이용하여 접합 품질 분류가 가능한 CNN 알고리즘을 개발하여 평가하였다. CNN은 딥러닝 모델의 한 종류로, 주로 이미지 데이터와 시계열, 신호 데이터에서 주요 특징을 찾아내고 학습하는데 사용된다. CNN 모델은 데이터 특징점을 직접 학습하는 특성을 가지고 있어 사용자가 수동으로 특징을 추출할 필요가 없고, 기존 네트워크를 바탕으로 모델을 구성할 수 있다는 장점이 있어 이미지를 사용하는 딥러닝에 CNN을 사용하는 사례가 증가하고 있다. 또한 용접 분야에서도 CNN을 적용하려는 시도가 늘고 있다12). 본 연구에서는 CNN 알고리즘을 사용하여 2 가지 모델을 적용 후 정확도를 비교 평가 하였다. 사용된 첫 번째 모델은 장비 자체에서 획득할 수 있는 변위와 하중 데이터 2가지를 사용하였고 두 번째 모델은 변위와 하중 데이터에 장비 외부에 추가로 설치한 음향 센서를 통해 획득한 음향 데이터를 포함한 총 3가지 데이터를 활용하여 학습을 진행하였다. 실험 결과와 CNN 모델의 예측 결과를 비교하기 위해 최상판에 1.2 GPa급 강도를 가진 강판과 중판에 열경화성 CFRP, 하판에 590 MPa급 강도를 가진 강판의 순서로 3겹 SPR 접합을 실시하였다. 정상 조건을 포함한 공정 중 발생할 수 있는 다양한 에러모드를 선정하여 13가지 조건에 대해 접합 품질을 분류하였다. 입력 변수인 변위, 하중, 음향 신호 중 사용한 입력 변수의 개수를 다르게 한 2가지 CNN 모델에 대해 접합 품질 분류를 각각 실시한 뒤 정확도를 확인하여 신호 조합에 따른 예측 정확도를 비교 평가하였다.
첫 번째 모델은 변위와 하중 2 가지의 입력 변수를, 두 번째 모델은 변위, 하중, 음향 총 3 가지의 입력변수를 사용하여 CNN 모델을 통해 품질 예측을 하였고 각 모델에 따라 정확도를 비교 평가하였다.
2. 실험 방법
2.1 실험 장비 및 소재
본 연구에서 SPR 접합에 사용된 이종소재는 100 × 30 mm 크기를 가진 상판 pre-hole(6.0 mm) 가공을 한 SPFC 1180Y (1.4 mm), 중판 열경화성 CFRP (1.8 mm), 그리고 하판 SPFC 590DP (1.0 mm)을 사용하였다. (Fig. 1) 상판 1180Y에 홀 가공 없이 SPR 접합을 진행하였을 경우 리벳이 상판을 관통하더라도 중판을 관통하지 못해 리벳 다리에 좌굴이 발생하였다. 따라서 하판에서의 interlock이 생성되지 않아 SPR 접합에 어려움이 존재한다. 이 문제점을 해결하기 위해 상판에 pre-hole을 먼저 가공한 후 접합을 실시하였다. 실험에 사용된 소재의 특성은 Table 1에 나타내었다. SPR 접합에 사용된 장비는 최대 78kN까지 가압이 가능한 BÖLLHOFF사의 유압식의 하중 제어 방식 리벳팅 장비 RIVSET® GEN 2-6을 사용하였다(Fig. 2). 실험에 사용된 리벳은 경도 480±30 HV의 보론강으로 BÖLLHOFF사에서 제작된 C 타입의 길이 6.5 mm를 사용하였고 다이는 평평한 형태의 FM 타입을 사용하였고 치수와 단면을 Fig. 3에 나타내었다.
2.2 실험조건
SPR 접합 품질을 예측하기 위해 정상 조건을 포함하여 접합 공정 중 발생 가능한 5 가지의 에러모드를 선정하고 조건 별로 좀 더 세분화하여 검증해보기 위하여 각 조건 당 2-3 수준을 추가하여 12가지 에러모드를 결정하였다. 조건 당 접합을 10 회 반복하여 접합 품질 분류의 정확성과 재현성을 확보하였다. Fig. 4에 본 연구에 사용된 조건 13가지의 형상 그림과 접합부의 단면 사진을 나타내었고, 각 에러모드 조건당 번호를 부여하여 이 후 CNN 모델 예측 결과에서 번호로 분류할 수 있게 하였다. 12 개의 에러모드 중 7 개는 시편 세팅과 관련되었고 남은 5 개의 에러모드는 공정 변수에 영향을 받는 조건으로 설정하였다. 시편 세팅과 관련된 에러모드는 Fig. 4에서의 case 4, 5, 9, 10, 11, 12, 13이며 이는 각각 리벳과 시편의 오정렬, 시편 사이의 거리(갭), 각도의 3 가지를 선정하였고, 공정 변수와 관련된 조건으로는 case 2, 3, 6, 7, 8이며 각각 리벳과 다이의 변화 2 가지를 선정하였다.
2.3 데이터의 수집 및 전처리
SPR 접합 공정 중 발생하는 데이터를 수집하기 위하여 Fig. 5과 같이 음향센서와 PC를 설치하였다. 변위와 하중 신호 정보는 초당 100 Hz로 랜선을 통해 SPR 장비 내부와 PC를 연결하여 데이터를 추출하였고, 이는 SPR 장비 자체에서 동기화되어 획득 가능한 신호이다. 음향 신호를 측정하기 위해 자체적으로 지그를 제작한 뒤 GRAS사의 46E 마이크를 접합부로부터 10 mm 떨어진 곳에 위치시켜 접합 공정 중 발생하는 음향을 초당 5000 Hz로 측정할 수 있게 하였다. 음향센서를 통해 측정된 음향은 National Instrument cDAQ 9174섀시에 NI 9234 모듈을 장착하여 LabView 프로그램 자체에 내재된 예제를 이용하여 데이터화 하였다.
접합 공정 중 수집된 변위, 하중 데이터를 Fig. 6(a)에 그래프로 나타내었다. 모든 조건에서 장비에 입력하는 하중은 정상 조건일 때의 적정 하중과 동일하게 사용하였기 때문에 최종 하중의 값은 동일하게 측정되었으나 에러모드 별로 하중이 가해지는 시작점의 위치가 다른 경우에는 변위의 시작 값이 다르고 변곡점의 위치가 다르기 때문에 최종 하중의 값이 동일하게 측정되어도 학습 모델을 통해 특징점을 구분하여 분류가 가능할 것으로 판단된다.
Fig. 6
(a) Displacement and load graphs collected during the SPR joining process, (b) Acoustic graphs collected during the SPR joining process
장비 외부에 추가로 설치된 음향 센서를 통해 수집된 음향 데이터를 Fig. 6(b)에 나타내었다. 음향 신호 데이터의 경우, 수집된 sampling Hz가 다르기 때문에 변위, 하중 신호와 비교하였을 때 데이터의 개수가 크게 차이가 난다. 이에 모델을 학습시키기 전에 10 개의 데이터에서 평균 값을 계산하여 1 개의 데이터로 개수를 줄이는 데이터 전처리 과정(downsampling)을 수행하였다. 또한 각 3 가지의 입력 데이터는 모두 정규화 한 이후 학습에 사용하였다.
2.4 CNN을 이용한 분류 학습모델
본 연구에서는 SPR 장비에서 추출되는 변위와 하중, 그리고 음향 데이터를 CNN 알고리즘에 적용하여 접합 품질 분류를 하기 위해 2 가지 분류 모델을 개발하였다. 각 모델은 Fig. 4에 나타냈듯이 case 별 분류 번호에 따라 one-hot encoding13)을 사전에 실시하여 학습에 적용하였고, 예측 결과와 실제 실험 결과 값을 비교하였다. 13 가지 에러모드에 대해 10회 반복 실험하여 총 130 개의 데이터를 수집했으며 6.95 : 3.05의 비율로 나누어 모델 훈련을 위한 학습 데이터, 모델 예측 정확도를 평가하기 위한 테스트 데이터로 사용하였다. 각각 나누어진 데이터의 개수는 90개, 40개이다.
Fig. 7은 첫 번째 모델의 구조로, 시계열 데이터로 이루어진 변위와 하중 데이터를 입력 변수로 한 모델이다. 변위와 하중 데이터는 동기화된 신호이므로 2행으로 배열하여 2차원화한 후, 학습에 사용하였다. 합성곱 층에서 커널(kernel)의 크기는 2 × 5 pixel을 사용하였고 풀링 층에서는 max pooling을 사용하였으며, 스트라이드(stride)는 1 pixel로 설정하였다. Fully connection layer에서의 활성화 함수는 ReLU (Rectified Linear Unit)14)와 Softmax를 사용하여 예측 결과로 조건 별로 분류된 값이 나오도록 하였다. 모델의 학습 횟수인 epoch는 100회로 선정하였다. Table 2는 입력 변수부터 출력 변수까지의 각 층에 대한 정보를 나타내었다.
Table 2
Information on CNN layer using displacement and load
| Layer | Type | Output shape | Number of Parameters |
|---|---|---|---|
| 0 | Input | 2 × 248 × 1 | |
| 1 | Con2D | 1 × 244 × 64 | 704 |
| 2 | MaxPooling2D | 1 × 61 × 64 | |
| 3 | Flatten | 3904 | |
| 4 | Dense_1 | 128 | 499840 |
| 5 | Dropout | 128 | |
| 6 | Dense_3 | 13 | 1677 |
Fig. 8은 두 번째 모델에 대한 설명이다. 첫 번째 모델에서 사용한 입력변수 2 가지에 음향 데이터를 추가하여 3가지의 입력 변수에 대해 각각 합성곱 과정을 진행 후 2개의 flatten된 데이터를 합쳐 조건 별로 분류하였다. 한 번에 3개의 데이터를 활용하여 CNN 과정을 진행하지 못한 이유는 음향신호가 장비 자체에서 추출되는 것이 아닌 따로 센서를 설치하여 측정되어서 변위, 하중 데이터와 음향 데이터 간의 동기화가 이루어지지 않았기 때문이다. 변위와 하중의 CNN 학습 과정은 첫 번째 모델과 동일하게 진행하였고 acoustic 신호의 처리 과정은 합성곱 층에서 커널은 1 × 10 pixel의 크기로 하였고 풀링(pooling) 층에서 max pooling을 사용하였다. 그 후 따로 합성곱 층을 지난 데이터를 함께 flatten하여 활성함수 ReLU와 Softmax를 통해 분류 결과를 얻을 수 있게 하였다. 모델의 epoch는 100회로 선정하였다.
CNN 모델 학습에 도움을 주는 함수로 최적화 함수 중 하나인 확률적 1차 미분 값에 기반한 Adam(Ada- ptive Moment Estimation) 함수를 사용하였고15), 분류 문제에서 one-hot encoding을 했을 때 이용 가능한 손실 함수인 categorical cross-entropy 함수를 사용하였다. 모델의 성능을 평가할 수 있는 측정항목인 metrics는 accuracy를 사용하여 비교 평가하였다. Table 3에 입력 변수부터 출력 변수까지 각 층에 대한 정보를 나타내었다.
Table 3
Information on CNN layer using displacement, load and acoustic
3. 실험 결과 및 고찰
3.1 변위, 하중 데이터 활용 품질 분류 모델
Fig. 9는 변위와 하중 데이터를 이용한 CNN 모델에서의 epoch당 손실과 정확도를 나타낸 그림이다. Epoch가 증가함에 따라 손실은 0에 근접하여 수렴하고 있으며, 정확도는 60 epoch 이후로 0.9 이상에서 수렴하는 것을 확인할 수 있었다.
Fig. 10은 confusion matrix에 대한 예시이다. 표의 왼쪽과 아래쪽에 Fig. 3에서 구분하였던 case 별 번호로 구분하여 실제 실험 결과와 예측 데이터 간의 일치 여부를 확인할 수 있도록 하였다. 각 셀의 색상은 분류된 샘플의 개수의 양에 따라 다르게 나타내었다. 어두운 색상 일수록 많은 양의 샘플 개수를 의미하며 개수 별 색상의 차이를 그림의 오른쪽 부분에 표기하였다. 예를 들어 실제 실험은 case 4이지만 예측은 case 1로 한 샘플이 1개 있을 경우 (1,4) 위치에 나타낸 것처럼 표시하게 된다. 또한 (3,3) 위치의 경우 모델 예측과 실제 실험 결과가 일치하는 샘플 개수가 8개를 의미한다.
학습 데이터가 적절히 학습되었는지 여부와 개발된 모델의 정확도를 확인하기 위해 훈련 데이터와 테스트 데이터를 confusion matrix로 시각화 하여 나타낸 결과를 Fig. 11 (a), (b)에 각각 나타내었다. 무작위로 추출된 데이터에서 90 개의 훈련 데이터는 모두 정확하게 학습이 되었으나 40 개의 테스트 데이터 중 4가지 샘플에서 예측에 실패하여 본 모델의 정확도는 90.0% 이다. 예측에 실패한 에러모드 4개 중 2개는 tilt 크기 변화내에서 발생한 오류인데, 그 중에서도 각도가 비교적 큰 조건에서 발생하여 각도가 어느정도 이상 커지면 특징점이 크게 달라지지 않아 모델이 분류하기에 어려움을 겪을 수 있다고 판단할 수 있다. (Fig. 12(a)) 다른 1개 조건은 gap에서의 크기 차이에서 발생한 오류로, 다른 조건들에 비해 큰 특징을 가지고 있지 않아 발생할 수 있는 오류로 보인다. 또한 장비 자체의 preclamping force 4 kN이 가해지기 때문에 접합시 임의로 설정한 gap이 거의 사라지는 점도 이유로 들 수 있다. 마지막으로 남은 오차 1가지는 KA die를 gap 1.0 mm로 예측한 결과이다. 이러한 이유는 Fig. 12(b)에 나타낸 것처럼 변위에서의 약간의 차이가 존재하는 서로 유사한 형상의 그래프가 나오기 때문에 모델이 예측하는데 어려움을 겪었다고 보인다. 이를 해결하기 위한 방법으로 미세한 차이도 구분할 수 있도록 많은 양의 학습을 진행한다면 현재보다 더 높은 분류 정확도를 가질 수 있을 것으로 생각된다.
3.2 Load, displacement, acoustic 데이터 활용 품질 분류 모델
변위, 하중 그리고 음향 데이터를 사용한 모델에 대한 학습 데이터의 손실과 정확도를 Fig. 13에 나타내었다. 각 그래프를 확인하면 약 10 epoch 이후부터 손실은 0에 수렴하고, 정확도는 1.0에 수렴하여 모델의 학습은 잘 되었다고 판단할 수 있다.
음향 데이터를 포함한 CNN 모델의 정확도를 확인해보기 위해 무작위로 선정된 데이터를 사용하여 Fig. 14(a), (b)에 각각 훈련 데이터와 테스트 데이터에서의 예측 결과를 confusion matrix로 시각화 하여 나타내었다. 훈련 데이터에서의 학습은 잘 되었음을 확인할 수 있지만 테스트 데이터에서는 40개의 샘플 중 9개가 정확한 에러모드 예측에 실패하여 본 모델의 정확도는 77.5%이다. 음향 데이터가 포함된 CNN의 경우 정확도가 변위와 하중 데이터만 사용하였을 때 보다 더 낮은 정확도를 보였는데 이는 음향 데이터가 CNN 과정에서 에러모드 별로 각각의 특징이 확실하게 나타나지 않기 때문인 것으로 보인다. 또한 음향 신호 수집을 수행할 때 현장에서 나타날 수 있는 공정 상황을 재현하기 위해 따로 소음을 차단하여 공정상 발생하는 음향만 측정한 것이 아닌 노이즈가 포함된 데이터가 수집되었기 때문에 오류가 발생하였을 가능성이 있다. 그리고 현재 데이터의 개수가 학습을 하기에는 양이 적어 이러한 문제가 발생하였다고 보인다. 보통 음향 데이터를 분석할 때는 FFT(Fast Fourier Transform) 전처리 과정을 거쳐 입력 데이터로 활용하거나 RNN(Recurrent Neural Network)를 활용하는 방식을 사용한다16). 그러나 본 연구에서는 이러한 과정을 거치기 않았기에 사용한 전처리가 적합하지 않거나 모델의 적합성이 떨어져서 낮은 정확도를 얻었다고도 볼 수 있다.
4. 결 론
본 연구는 SPFC 1180Y, CFRP, SPFC 590DP 소재에 대해 3겹 SPR 공정을 적용했으며, 공정 중 발생할 수 있는 에러모드를 선정하고 SPR 공정에서 추출되는 변위, 하중과 음향 센서로 측정된 음향 데이터를 활용하여 각 조건 별로 분류할 수 있는 CNN 모델을 개발하여 각 데이터 조합에 따른 유효성을 평가하였다.
1) Self-Piercing Riveting 접합에서 발생할 수 있는 시편 세팅과 관련된 에러모드 7 가지, 공정 변수와 관련된 에러모드 5 가지를 선정하여 정상 조건을 포함한 총 13가지의 에러모드를 정의하였다.
2) SPR 접합 공정 중 발생하는 신호들을 추출하기 위하여 SPR 장비 자체에서 수집되는 변위와 하중 신호를 LAN선을 통해 수집하였고, 장비 외부에 음향 센서를 설치하여 음향 데이터를 수집하였다. 수집된 음향 데이터는 Labview 프로그램을 통해 획득하였으며, 각각의 3가지 데이터를 CNN 모델의 입력변수로 사용하였다.
3) 변위와 하중의 2 가지 데이터를 입력 변수로 사용한 CNN 모델의 예측 정확도는 90%, 2 가지 데이터와 음향 데이터를 포함하여 입력 변수로 사용한 CNN 모델의 예측 정확도는 77.5%로 확인되었다. 이에 따라 변위와 하중 데이터를 사용하여 CNN을 적용하였을 때 SPR 접합 품질 분류의 가능성을 확인하였다.
4) 음향 데이터를 포함한 CNN 모델의 예측 정확도가 비교적 낮게 나타난 이유는 수집된 음향 데이터가 노이즈에 영향을 많이 받아 각 에러모드 별 특징이 잘 잡히지 않았기 때문이라고 판단된다. 또한 입력 데이터의 적절한 전처리나 모델의 적합도가 맞지 않아 이러한 결과를 얻을 수 있었다고 보인다.
향후에는 각 센서 들과의 동기화를 진행하고, 충분한 학습과 검증을 위한 조건 별 추가 실험을 통해 학습 데이터를 충분히 확보할 예정이다. 또한 실시간 데이터 취득을 통해 실시간 SPR 품질 불량 판별 모델을 개발할 예정이다.
PDF Links
PubReader
ePub Link
XML Download
Full text via DOI
Download Citation
Print
