研究背景
在工業制造中，焊接是一種常見的連接金屬部件的方法，而焊縫的質量直接影響到最終產品的安全性和可靠性。因此，能夠準確地檢測和識別焊縫中的缺陷對于確保產品性能和用戶安全非常重要。傳統的焊縫缺陷檢測方法依賴于人工檢查或者基于特征提取的技術，這些方法往往耗時且效率低下，而且可能受到人為因素的影響，導致檢測結果不夠準確。近年來，深度學習技術因其強大的特征學習能力和自動化處理流程，在圖像識別領域取得了顯著成就。特別是卷積神經網絡（CNN），它能夠從原始數據中自動學習有用的特征，從而提高分類的準確性和效率。盡管深度學習技術在理論上具有巨大潛力，但在實際應用中，獲取高質量、大體積的數據集仍然是一個挑戰。特別是在焊接缺陷檢測領域，公開可用的、高質量的射線圖像數據集相對較少，這限制了相關研究的發展。
基于此，本文提出了一種新的基于ResNet50架構的CNN模型，以解決現有方法在焊縫缺陷檢測中存在的問題。用于在射線圖像中分類四種焊縫缺陷：裂紋、氣孔、未焊透和無缺陷。為了提高泛化能力和避免過擬合，采用了分層交叉驗證、數據增強和正則化技術。該模型在三個數據集上進行了測試，分別是RIAWELC、GDXray和一個圖像質量較低的私有數據集，分別獲得了98.75%、90.255%和75.83%的準確率。研究不僅有助于提高焊縫缺陷檢測的準確性，也為相關領域的進一步研究提供了有價值的參考。
研究分析
選定用于訓練焊縫缺陷分類模型的射線圖像數據庫是RIAWELC 。該數據集包含24,407張尺寸為224 x 224像素的射線圖像，分為四種焊縫缺陷類型：裂紋、氣孔、未焊透和無缺陷，見圖1。
圖1 RIAWELC 數據集中缺陷類型的圖像
作為測試集，從RIAWELC數據庫中選取了400張新圖像，并均勻分配到四個類別中進行分類。模型的泛化能力評估使用了兩個圖像數據集。首先，使用了GDXray數據集。該數據集包含焊接類別的68張圖像，需要手動裁剪和標注，見圖2。圖像被調整為224x224x3像素，同時保留PNG格式的三個顏色通道。總共獲得了100張圖像，見表1。
圖2 GDXray 數據集中缺陷類型的圖像
表1 三個數據集中的焊縫缺陷對比：RIAWELC、GDXray 和自有數據集
此外，還使用了一個包含焊縫射線圖像的自有數據集。這些圖像構成了古巴西恩富戈斯缺陷檢測和焊接技術服務公司（CENEX）的歷史檔案。這些圖像是在超過10年的時間里收集并在非均勻條件下數字化的。與該數據集相關的難題包括對比度低、灰度分布不一致、噪聲和光照不均勻，見圖3。
圖3 自有圖像集中氣孔缺陷和未穿透缺陷的樣本圖像
在構建所提出的CNN時，以ResNet50為基礎模型，移除了最后一個分類層，并替換了四個新的全連接層。首先添加的是一個2D全局平均池化層，該層輸入預訓練的ResNet50網絡最后一個卷積層的輸出。接下來，使用一個包含512個神經元的密集層，激活函數為ReLU，用于降維并從圖像中學習更抽象和復雜的特征。為了避免過擬合，在密集層之后應用了一個50%的Dropout層。Dropout在訓練過程中隨機“停用”神經元，有助于正則化模型并減少對特定特征的依賴，見圖4。
圖4 神經網絡結構
除了上述架構修改外，輸入圖像在送入修改后的CNN之前還進行了預處理。圖像預處理的目的是確保與ResNet50基礎模型的兼容性并提高輸入數據的質量。圖像預處理涉及多個步驟，見圖5。
圖5 輸入圖像的預處理、特征提取和分類
一旦分類層被修改，之前的層就被凍結以避免改變網絡已經學到的通用特征。這樣，得到了一個具有1,051,140個可訓練參數的基模型，總參數量為24,638,852。然后，使用從RIAWELC數據集中選擇的圖像對這些層進行重新訓練和適應，以便使網絡特征與射線圖像中焊縫缺陷分類的研究相匹配。表2反映了為該模型擬合的超參數。
表2 模型訓練階段使用的超參數
表3展示了在RIAWELC圖像數據集上訓練、驗證和測試階段獲得的結果。
表3 在RIAWELC數據集上模型訓練、驗證和測試階段獲得的指標值
圖6顯示了訓練集和驗證集的準確率曲線。
圖6 該模型在訓練和驗證過程中的精度曲線
圖7顯示了模型在訓練和驗證階段的損失行為。觀察到訓練集和驗證集的損失值都逐漸下降。訓練過程中的損失值達到0.145，而在驗證集上達到0.169。兩條曲線在第23個epoch時開始收斂，并在此之后沒有顯著下降。
圖7 訓練和驗證過程中模型的損失行為曲線
歸一化的混淆矩陣用于評估分類模型的性能。該矩陣表示實際類別與模型預測類別之間的關系。歸一化的混淆矩陣顯示了每個類別中模型正確和錯誤預測的頻率，這些頻率是通過該類別中實例的總數進行歸一化的。為了分析模型在RIAWELC測試集上的性能，歸一化的混淆矩陣如圖8所示。
圖8 用于評估模型在RIAWELC測試集上性能的歸一化混淆矩陣
然而，評估模型在不同數據集上的性能對于確定其準確泛化和分類訓練過程中未見過的焊縫射線圖像的能力至關重要。表4展示了該CNN模型在不同測試集上的結果，包括RIAWELC、GDXray和我們的私有數據集。通過模型對這些樣本的分析，可以驗證其適應具有不同特性的圖像的能力，并評估其泛化能力。
表4 在每個測試數據集上的模型性能
研究結論
本文提出了一種基于ResNet50架構的新CNN模型，用于分類射線圖像中的四種焊縫缺陷（氣孔、裂紋、未穿透和無缺陷）。為了防止網絡過擬合并提高泛化能力，采用了正則化、分層交叉驗證和數據增強技術。該模型在GDXray測試集上的測試準確率為90.25%，在RIAWELC數據集上的測試準確率為98.75%，在圖像質量較低的私有數據集上的測試準確率為75.83%。模型通過適應不同的圖像集展示了其泛化能力。實驗證明，當使用RIAWELC數據集中高密度圖像進行訓練時，該神經網絡可以用于分類不同類型焊縫射線圖像中的缺陷。該網絡還可以用于分類噪聲較大和對比度較低的圖像集中的焊縫缺陷。
鑒于這些結果，建議未來對模型進行調整以提高分類性能和整體準確率。這可能包括優化算法、擴展訓練數據或探索替代方法來解決“裂紋”類的模式檢測問題，并改善噪聲較大和對比度較低圖像的分類。因此，建議未來對模型進行調優以實現更好的分類和更高的準確率。應增加圖像數據集的數量和多樣性，以優化神經網絡超參數的調優，尤其是在分類低對比度和噪聲圖像方面，以獲得更準確的結果。
論文引用：
Dayana Palma-Ramírez、Bárbara D. Ross-Veitía、Pablo Font-Ariosa 、Alejandro Espinel-Hern′ andez、Angel Sanchez-Roca 、Hipólito Carvajal-Fals、José R. Nu?ez-Alvarez、Hernán Hernandez-Herrera.Deep convolutional neural network for weld defect classification in radiographic images. Heliyon 10 (2024) e30590.
DOI:https://doi.org/10.1016/j.heliyon.2024.e30590
