使用X射線對鑄件進行缺陷探測的流程為：將鑄件放于可旋轉平臺上，X射線源發出X射線并透過鑄件，視覺探測器(如CCD相機)感知探測X射線的能量信號，將其轉換為數字圖像后保存于工控機內，如圖1a和圖1b所示。在生產實踐中，大多數鑄造企業采用人工目視的方法識別X射線圖像。為保證檢測結果的可追溯性，檢測人員往往將X射線圖像打印出來，檢測完畢后將結果及對應的X射線圖像裝入檔案袋中，如圖1c和圖1d所示。
圖1 鑄件X射線檢測過程示意圖
基于人工目視的鑄件X射線圖像缺陷檢測容易受到檢測人員熟練度和身心狀態的影響，檢測的效率、精度、可靠性、穩定性難以得到保障，而且檢測信息的保存與查詢工作相當耗時耗力，嚴重阻礙了鑄件生產全流程自動化的發展趨勢。為實現基于數字X射線圖像的鑄件缺陷自動化、智能化檢測及識別任務，國內外研究人員進行了近40年的探索。 鑄件數字X射線圖像處理任務包括缺陷定位檢測(包括缺陷分割)、缺陷分類識別、缺陷定位檢測與識別一體化及缺陷圖像生成?，F有研究成果主要聚焦于缺陷定位檢測和缺陷分類識別兩類任務。且研究鑄件X射線圖像缺陷檢測與識別的機構多分布在國內。2017年以前，針對鑄件缺陷定位檢測開展研究的文獻多采取基于圖像底層特征信息的傳統圖像處理方法;2017年以來，針對鑄件缺陷定位檢測開展研究的文獻主要采用了基于深度學習模型的端到端缺陷定位檢測方法。2016年之前，針對鑄件缺陷分類識別任務開展研究的文獻主要采取人工設計圖像特征結合機器學習模型的方法;2016年之后，針對鑄件缺陷分類識別任務開展研究的文獻多是采用具有特征自學習能力的卷積神經網絡(CNN)。近兩年開始涌現出有關基于端到端的鑄件缺陷定位檢測與分類識別一體化研究的文獻。
1鑄件缺陷定位檢測研究進展
鑄件X射線圖像中缺陷的定位檢測是后續識別分類任務的基礎，同時也為鑄件缺陷評級提供缺陷位置和大小等信息。為了以更高的精度實現鑄件缺陷的定位檢測，國內外眾多學者的研究貫穿其整個發展歷史(從1983年至今)。
1983年，Strecker H等針對汽車用小型鋁合金鑄件X射線圖像(分辨率256×256，8位灰度圖像)中的縮孔缺陷，提出了一種局部灰度特征提取方法，經該方法處理后的圖像中缺陷區域得以凸顯，無缺陷區域在一定程度上受到抑制。通過和同類無缺陷構件的相同位置X射線圖像(參考圖像)的特征提取結果對比實現縮孔缺陷自動檢測。為檢測出汽車鋁合金輪轂X射線圖像(分辨率128×128，8位灰度圖像)中氣孔缺陷，1988年，Strecker H等提出了使用DOG(高斯差分)濾波器或旋轉不變正交特征算子對圖像進行處理，然后對處理后的圖像進行閾值分割，實現了氣孔缺陷檢測。但該方法不能檢測尺寸極大的氣孔和裂紋等缺陷。 為消除鋁合金輪轂X射線圖像(分辨率256×256，8位灰度圖像)檢測過程中誤警的缺陷，2000年，Mery D等提出了潛在缺陷分割結合多視圖配準消誤報的方法：首先使用圖像處理方法對每幅X射線圖像中潛在的缺陷進行分割;然后對多視角圖像序列進行配準，確認保留真實缺陷的同時，消除誤警缺陷。 為同時檢測出汽車輕合金鑄件X射線圖像(分辨率約為200×200，8位灰度圖像)中的氣孔、夾雜及裂紋三類缺陷，Li X等于2006年提出了基于二維小波變換的缺陷自動分割方法：對每張待檢測圖像的多分辨率層級數目(超參數)進行預先設定后，使用該方法能夠分割出0.224 mm的細小缺陷區域(X射線圖像中約1個像素大小)。2009年，Li X等又利用模糊集理論和邊界直方圖，計算缺陷和背景的模糊指數熵，通過最大化缺陷和背景在邊界直方圖中的分布的模糊指數熵求得圖像分割用閾值，實現了氣孔、夾雜及裂紋三類缺陷的分割。為檢測鋁合金壓鑄輪轂件的X射線圖像(分辨率約為572×768，8位灰度圖像)中的缺陷，2010年，Mery D等提出了一種不需要多視圖匹配，直接通過滑動窗口實現不同視圖角圖像信息融合的方法：收集各個視圖的投影圖像構建數據集，訓練分類模型對滑動窗口截取的子圖像進行缺陷分類識別，從而實現整張圖像的缺陷檢測。次年，Mery D等還根據在多個圖像序列中均可追蹤到的缺陷即為真實缺陷的規則，開發了使用無需校準的X射線圖像序列進行缺陷檢測的方法，該方法通過最大化曲線間相關系數和中間分類器計算圖像間相匹配的點，最終降低了誤警率。 2013年，Shen K等針對大型鐵路軌道交通鑄件X射線圖像，提出了一種基于改進SURF特征進行圖像配準的X圖像缺陷快速檢測方法。首先選取若干特定類型的鑄件，對其進行X射線檢測，通過圖像處理，獲取不含缺陷區域的參考圖像構成標準圖像庫;然后充分利用小波變換對待檢測圖像進行增強，凸顯缺陷的同時避免邊緣偽影的產生;基于改進的SURF特征將增強后的待檢測圖像與庫中的標準圖像進行配準，選擇出合適的標準X射線圖像;最后，利用圖像差分法和鑄件結構的先驗知識對鑄件缺陷進行檢測。實驗結果表明，該方法能夠以較快的速度(4.7 s/張)有效地分割出大型鑄件X射線圖像內的缺陷。
He Z等于2014年針對鋁合金輪轂X射線圖像(8位圖像，分辨率約為401×377)提出了一種基于灰度序列對(GAP)特征的鑄件缺陷分割檢測方法(如圖2所示)，該方法基于多幅X射線圖像的GAP特征，利用灰度關系穩定的像素對建立背景模型，然后統計待檢測圖像與背景模型的強度差異，實現缺陷的分割檢測。在Pentium Core 2 Duo 3.00 GHz計算平臺上，該方法分割一幅圖像的平均時間為28毫秒。
圖2 基于灰度序列特征的鑄件缺陷分割檢測示意圖
為實現某種小型精密鑄件的X射線圖像(分辨率從150×100至600×500不等)中細小缺陷的檢測，Yang K等通過對多層特征進行跨層融合，構建了同時包含低級空間信息、中級補充信息和高級語義信息的特征，基于此特征通過RPN生成了高質量候選區域，在高質量建議框的基礎上實現了缺陷定位任務。實驗結果表明該方法在檢測細小缺陷時，其檢測性能較其他模型更為優秀。
為提升鑄件X射線圖像(分辨率從150×150至350×250不等)中裂紋、夾雜及氣孔等具有不同尺度的缺陷的檢測性能，常海濤等通過融合Faster R-CNN模型第三級與第五級的特征，根據真實標注統計結果設計先驗框并在ROI pooling層后引入了OHEM算法(如圖3所示)，顯著提升了多尺度缺陷檢測的性能。雖然通過兩個階段完成缺陷檢測的FasterR-CNN等模型具有較高的精度，但生成建議框的區域推薦階段增加了檢測用時，難以適用于分辨率過大的圖像的實時檢測。
圖3 基于改進Faster R-CNN的雙階段鑄件缺陷檢測網絡模型示意圖
2021年，Ji X等針對航空發動機鈦合金鑄件X射線圖像(分辨率為3072×2400)，提出了結合過濾選擇性搜索和均勻分布CNN的缺陷檢測與識別方法。在目標定位檢測步驟中，通過對缺陷特征的統計分析，建立了帶有尺寸和邊緣曲率兩個因素的選擇性搜索算法，以近100%的準確率實現了缺陷定位，避免了漏檢和誤檢。在目標分類步驟中，構建了各層結構相似、均勻分布的CNN，用以對孔洞、氣孔、線形缺陷、高密度夾雜和鑄件結構五類子圖像進行分類，且獲得了近90%的分類準確率。該兩階段的方法實現了典型缺陷的精確定位和識別，具有重要的研究意義和工程價值。綜上所述，現有的針對鑄件缺陷定位檢測任務的研究更多的是基于圖像底層信息開展的，受鑄件缺陷圖像數量和GPU等硬件的限制，大數據驅動的基于深度學習的方法還未能直接應用于高分辨率鑄件X射線圖像(如分辨率2000×2000及以上)缺陷檢測定位任務，但基于深度學習的方法已經被證明具有更強的魯棒性和更高的精度，是未來重要的研究方向之一。
2鑄件缺陷分類識別研究進展
鑄件缺陷分類識別將圖像內的鑄件缺陷劃分為某一類別(如氣孔、縮松、夾雜等)。分類識別與定位檢測共同為基于X射線圖像的鑄件質量智能化診斷提供決策信息。在2017年之前，鑄件缺陷圖像的分類識別主要采用人工設計特征與機器學習模型實現，因此2017年之前的研究多聚焦于鑄件X射線圖像特征設計;2017年后更多的研究成果采用CNN實現鑄件缺陷圖像的分類識別，因而更關注CNN結構設計與改進。
本文所調研的最早的關于鑄件缺陷圖像分類文獻發表于2004年，Mery D等針對鋁合金鑄件X射線圖像，利用自組織特征映射圖(SOM)來進行特征分層降維，以構建簡化的缺陷圖像識別模型;經過特征選擇和數據降維后，利用自適應模糊神經網絡(ANFIS)進行缺陷圖像識別。實驗表明，僅使用兩個特征就獲得了良好的識別性能。 為識別汽車鋁合金發動機缸體氣孔、縮孔及縮松三類缺陷，Dobrzanski L A等于2007年通過提取缺陷區域面積、橫向廣義直徑、縱向廣義直徑、馬林諾夫斯卡缺陷系數等特征，構建了全連接神經網絡MLP訓練用數據集，最終實現了三類缺陷的分類。 近五年的鑄件缺陷識別研究多是圍繞深度卷積神經網絡結構的改進展開。2017年，Mery D等以GDXray數據集為研究對象，評估了包括深度學習、稀疏表示、局部描述符和紋理特征在內的24種計算機視覺技術的缺陷圖像識別性能，試驗結果表明，使用簡單的LBP特征與支持向量機獲得的性能最佳：97%的準確率和94%的召回率。其構建的深度神經網絡表現不如支持向量機的原因可能在于網絡模型過于簡單不能充分學到數據集中的模式特征。2018年，劉浩等針對采集的某種小型精密鑄件的缺陷X射線圖像(分辨率為227×227)識別問題，以Caffenet為基準，通過減小卷積核尺寸和減少網絡卷積層數量，降低模型復雜度的同時，實現了缺陷識別精度的提升。 上海理工大學的Wang Y等基于VGG16對鋁合金鑄件X射線圖像(分辨率約為448×448，8位圖像)缺陷識別問題進行了廣泛研究。2020年，Wang Y等還提出了鑄件微小缺陷圖像識別方法：首先將雙線性池化層引入VGG16構建了類型識別模塊(TCM)以實現圖像中缺陷目標級別的聚焦;然后構建了包含深度可卷積分離的缺陷分類模塊(DCM)，并基于TCM提取的深層特征實現了含有微小缺陷的圖像分類。同年，Wang Y等還提出了一種弱監督的卷積神經網絡(如圖4所示)將待識別的X射線圖像分為有缺陷或無缺陷，該方法以VGG16為主干網絡，通過將深層語義特征作為注意力模板引導丟棄輸入圖像的局部子塊以模擬數據增強，并引入“交互通道損失函數”指導模型訓練，以較高精度實現了缺陷圖像的識別。
圖4 具有數據增強模塊的弱監督卷積神經網絡示意圖
2021年，Wang Y等通過去除VGG16第五個模塊的最后的下采樣層以保留空間信息，對主干網絡的輸出添加注意力機制，增強了在復雜背景下提取細微特征的能力，最終提升了帶有缺陷的汽車鋁合金鑄件X射線圖像的識別精度。
作為基于注意力機制的深度學習模型，Transformer最初主要用于自然語言處理領域，并表現出了極為強大的表示能力。受此啟發，圖像處理領域的研究人員提出了如圖5所示的視覺Transformer(Vision Transformer，VIT)。與其他深度學習模型(例如CNN和RNN循)相比，VIT在大部分視覺任務中展現出了較強的競爭性，在圖像分類、目標檢測等任務中甚至超過了CNN。
圖5 Vision Transformer(VIT)示意圖
綜上所述，以CNN(卷積神經網絡)為代表的計算機視覺技術已在鑄件缺陷識別任務中取得較為廣泛的應用且表現出優異的性能。隨著以Transformer編碼器為特征提取部分的VIT在圖像識別和檢測任務上表現的性能逐漸超越CNN，當處理更大規模的鑄件缺陷圖像識別任務時，VIT可能替代CNN以更高的精度完成鑄件缺陷識別任務。
3鑄件缺陷定位識別一體化研究進展
鑄件X射線圖像中可能包含幾類不同的缺陷。鑄件缺陷定位檢測的目標僅僅在于將缺陷的位置標出而不區分缺陷的具體類別，因此缺陷分類識別成為了必不可少的步驟。這樣“兩步走”的方式往往是比較耗時的，但未必能使精度得到保證。在較短的時間內檢測出缺陷的同時完成缺陷種類的識別成為了最新的問題。
近年來，隨著以重慶大學為代表的部分研究團隊收集的鑄件各類缺陷圖像數量的增長，出現了一些對鑄件缺陷定位識別一體化的研究。2020年，Duan L等首先根據其收集鑄件X射線圖像構建了用于缺陷檢測識別一體化任務的數據集(分辨率為416×416，3通道圖像，2類缺陷，共10個等級);然后在YOLOv3的基礎上增加一個分辨率為104×104的特征分支以檢測X射線圖像中細小缺陷，在利用各尺度特征進行預測前使用并行卷積整合信息，保證位置信息的同時獲取高級語義信息;在其測試集上，改進的YOLOv3的mAP較原始的YOLOv3的mAP提升了0.261。2020年，沈寬等針對鐵路貨運列車搖枕及側架兩類鑄鋼件的X射線圖像中不同等級的縮松、氣孔等缺陷檢測問題，首先調整窗口位置和大小截取子圖像;然后采用保邊濾波進行子圖像平滑和增強，進而標注圖像并構建數據集(2類缺陷，10個等級);最后訓練了Mask R-CNN模型，利用該模型分割出10個等級缺陷的同時完成了缺陷等級的識別。綜上所述，較為前沿且高效的缺陷定位檢測與識別分類一體化方法雖然已在幾個任務中取得應用，但受到圖像數據集規模、模型結構及損失函數設計的影響，性能仍有較大提升的空間，而且尚未得到普遍應用。隨著鑄件缺陷X射線圖像集規模海量化，類間差異小的各類別鑄件缺陷圖像樣本將得到迅速補充，缺陷定位檢測與識別分類一體化方法很可能成為最主流的解決方案。
4鑄件缺陷X射線圖像仿真生成研究進展
高精度的鑄件缺陷檢測和識別方法多是數據驅動的，鑄件各類缺陷圖像的數據量在一定程度上決定了檢測和識別的準確率，缺陷數據量越大，模型的泛化性能越好，準確率也會更高。然而，在實際生產過程中大多數鑄件出現缺陷的概率極小;即使部分鑄件因工藝原因出現缺陷也僅限于特定的類別。因此，為獲取各類缺陷的足夠數量的圖像，國內外的學者圍繞鑄件缺陷X射線圖像的仿真生成開展相關研究。
2020年，Mery D等針對含有缺陷的鋁合金輪轂鑄件X射線圖像不足的問題，采用GAN(生成對抗網絡)進行缺陷圖像生成仿真，通過對比研究發現GAN在其任務中幾乎未起作用。 華南理工大學的黃茜團隊圍繞輪轂縮松缺陷X射線圖像的生成開展了相關研究。2012年，馬明輝等針對輪轂縮松缺陷X射線圖像樣本量小的問題，首先分析了縮松缺陷圖像的灰度特征和幾何特征，結合縮松的生成機理，提出了分層縮松仿真算法;然后通過模擬縮松缺陷形成過程，提出了隨時間演進的、基于受控反幾何擴散算法的縮松輪廓生成方法;最后利用基于灰度直方圖的隨機灰度生成算法和伽馬灰度變換實現了縮松缺陷圖像的灰度生成。然而，該方法所生成的縮松缺陷邊緣略顯模糊，而且缺陷層次分明，導致生成的縮松圖像真實性不足。 2019年，周洲等針對輪芯縮松缺陷X射線圖像樣本量小的問題，首先分析了輪芯海綿狀縮松缺陷的特征，然后基于輪廓骨架生長技術生成具有隨機形狀輪廓和大小的海綿狀縮松缺陷，并與無缺陷背景圖像進行了融合，通過缺陷檢測實驗證明了生成樣本的可用性。此外，周洲等還研究了基于GAN的缺陷圖像生成方法，雖然未能取得理想的結果，但證明了GAN在鑄件缺陷圖像生成中的潛力。 綜上所述，基于數學模型的鑄件缺陷圖像仿真生成方法在一定程度上能夠起到擴充樣本的作用，但普遍存在生成類型單一、過度不自然等問題。雖然未見報道基于GAN的方法的高效性，但如果用Wasserstein作為分布間差異的度量同時結合可以估計數據集分布的VAE(變分自編碼器)，作為無監督模型的GAN應該能夠生成大量的更多類型、更逼真的鑄件缺陷圖像。
5總結與展望
總結：
1. 現有缺陷檢測與識別方法多以簡單圖像處理結合傳統機器學習模型為主，前沿且高效的缺陷定位與分類一體化方法尚未得到普遍應用。
2. 現有研究在檢測或識別高分辨X射線圖像前往往進行降采樣或分塊操作，限制了精度的提升，但缺陷智能檢測與識別確實已成為提升效率的必要手段。
發展趨勢：
1. 鑄件缺陷X射線圖像集規模海量化。隨著航空、航天等領域的發展，在成品率一定的情況下，更多的產量將為數據驅動的高效的缺陷智能檢測方法提供更多缺陷數據。
2. 高分辨率鑄件X射線圖像處理過程整體化。隨著GPU等硬件的發展，檢測或識別高分辨率鑄件X射線圖像將不再需要降采樣操作，直接將整張高分辨率__圖像輸入至模型內，簡化流程的同時提升精度。
3. 鑄件缺陷定位與識別一體化。隨著缺陷X射線圖像集規模向海量化發展，各類缺陷樣本將得到迅速補充，這將推動能夠在完成缺陷檢測同時進行分類的深度學習模型的研發與應用。4. 以VIT為代表的高性能計算機視覺前沿方法的應用。隨著計算機視覺算法的迅速發展和缺陷X射線圖像集規模向海量化發展，需要大規模圖像數據集進行訓練的基于VIT的方法將助力鑄件X射線圖像缺陷檢測與識別解決方案的性能實現顯著提升。
