【案例分享】凱基特鋼板表面缺陷在線視覺檢測系統

一、項目概述

凱基特根據客戶需求，經過現場技術評估，為客戶提供材料發光論證的鋼卷檢測及相關技術服務。本項目軟件系統采用公司自主研發的帶鋼表面檢測技術，孔洞，邊裂打光技術和在線測量檢測技術。

二、技術規格

1.系統特色

1. 本系統基于機器視覺技術，具有高速，高精度的新型感光技術。
2. 采用高速定制LED平行光光源，配合獨有的散熱技術，保證高亮度、高穩定性、使用壽命長，保養簡單。
3. 采用高性能COMS數字攝像機及光學技術，保證高分辨率、高清晰圖像存儲和信息傳輸可靠性。
4. 采用特別設計的GPU模塊保證高質量檢測的同時系統穩定運行。
5. 選配的多功能檢測,全長、全寬范圍檢測。--》全長、全寬的多功能檢測范圍
6. 本視覺模塊采用人工智能方向（深度學習CV）的自學習技術，樣本不斷對新出來的工藝要求快速自學，配合現有的圖像庫快速方便的添加需要追溯的問題。
7. 本系統的采用自學習系統不斷疊代可以持續學習達到越用越精準、越用越智能的效果。樣本庫可以達到千萬級，有無上限的拓展性。
8. 追溯可視化；方便客戶快捷、便利查詢歷史紀錄；可根據規則搜索；支持離線客戶端導出數據多端同時查詢等功能。
9. 實時多端在線察看預警模塊，方便甲方第一時間把控現場情況，及時處理。
10. 通過本系統的軟硬件高度配合，從而滿足金屬工業嚴格檢測要求，提高成材率，避免缺陷造成的不合格的產品出廠所遭遇的退貨和投訴損失。

2.技術概要

所采用深度學習，打光平行光，高速GIGE，CAMELINK，高速同步裝置，分布式系統可拓展，光學技術組合的一個視覺方案。

3.設計生產主要技術

帶鋼檢測范圍： 900mm-2000mm
最高檢測速度：600m/min
厚度：2.0mm-12.0mm
鋼卷抖動：小于±10mm

4.技術指標

檢測、分類缺陷類別：翹皮、夾雜、劃傷、壓痕、斑跡、氧斑、山峰狀氧化鐵皮、邊損、孔洞、邊裂、腰折、欠酸洗、停車斑、水印、嚴重色差等；
系統運行率：≥99.8%；
缺陷檢出率：≥95%；
缺陷分類準確率：≥85%

5.設備布置

檢測平臺前大輥輪處。
 

6.冷軋表面缺陷檢測儀和高精度多功能檢測儀安裝位置

三、系統設計

1.系統構架以及原理圖

 (1) 表檢明場采用平行白光反射機制，配合選配彩色CCD線掃相機（彩鋼），可以拍出各個帶有顏色的缺陷特征及色斑。普通帶蓋可以配合高敏感度CCD黑白線掃，更多敏感度。
 (2) 選配孔洞邊裂模塊系統利用邊裂，孔洞的透光性從物理層面檢測實際缺陷。
 (3) 整個系統采用分布式構架，異步硬件構架實現機器視覺方面的大量計算工作，采用自學習方式提取缺陷。
 (4) 整套系統通訊采用低延遲、有校驗、有自主設計的UDP通訊機制，保證快速同步數據的同時帶來高吞吐量。
 (5) 分布式的系統構架可以水平拓展更多存儲空間；更多算力并行；提高相機精度等。方便企業后續升級。

2.影像系統

(1) 光路設計表檢缺陷檢測系統
光源的入射角度與攝像機的拍攝角度稱之為光路，不同缺陷在不同光路下的信號強度是不同的，由于設備一旦安裝就位就無法改變光路設計，應此光路設計的精確度決定了缺陷檢出的程度，不同缺陷在不同光路下的信號強度是不同的，因此必須針對不同的應用場合和缺陷形貌來設計相適應的光路。

2. 光路設計多功能檢測儀系統

對于穿透性的缺陷來說，透射光路是最佳的成像方案，由于無害部分不透光，呈黑色，缺陷部分透光，灰度較高,從而在圖像上形成目標與背景的最大差異，易于進行后續的圖像處理與識別。
攝像機與光源呈180度對射，光源采用散射方式，能夠保證光線能夠最大程度的穿過孔洞缺陷抵達感光元件。
同時，由于光的衍射效應，透射光路也能夠適量放大光斑，起到提高檢測精度的作用.

(3)分辨率設計
高速工業攝像機是通過像元整列來成像的，假設一臺攝像機的CMOS由橫向30個像元*縱向30個像元組成，那么該攝像機的物理分辨率為900個像素，即其所成的圖像最大為30*30像素。若此圖像所覆蓋的實際空間為橫向3mm、縱向3mm，則定義檢測系統：系統橫向分辨率=3mm/30pixel=0.1mm/pixel，系統縱向分辨率=3mm/30pixel=0.1mm/pixel。缺陷或目標的影像也是由像素組成的，如果缺陷所占用的像素過少，軟件算法就無法檢出，然而，如果系統分辨率過小相當于放大了背景的紋理，可能使系統檢出大量的無害偽缺陷，造成缺陷溢出。因此，目標機組所需檢出的最小缺陷大小決定了系統分辨率的設計也隨之決定了攝像機的數量和系統規模。
 

3.算力系統

(1)算力存儲系統EMC
首先EMC已經對VNX系列管理界面進行了很多調整，使之更交互、更一目了然、更加簡便、容易操作。和主流存儲廠商一樣，界面都是采用基于Java模式的Web UI (user interface)，EMC稱之為USM (Unisphere Service Manager)對陣列進行管理。

(2)算力系統
高吞吐率、低響應時間、低資源消耗以及簡便的部署流程要求，因此TensorRT就是用來解決推理所帶來的挑戰以及影響的部署級的解決方案。TensorRT 是nvidia 自己開發的，主要作用就是對算法進行優化，然后進行了部署如下圖。

英偉達專用推理芯片：

4.電氣系統

本系統將集成機械模塊、光源、成像設備、檢測組件，電腦模塊三電設備。為保證各類設備無縫連接并完成設定功能，電氣集成將選用專用接口設備保證遠距離、高速、海量圖像數據傳輸的穩定性和可靠性；選用專用光纖，高速萬兆網口、光纜及連接設備保證相機等圖像采集設備與表面檢測組件間的數據連接；光源專用電源電纜設計，保證現場安裝位置至配電控制柜內的恒流器件間長距離電源傳輸的有效性；保證檢測組件與通用服務器數據通訊連接。

5.機構設計

 
在檢測系統中機械機構主要是起到保護支持，防護，精密調整的作用。機械機構必須具備足夠的剛度、強度、抗震性，必須具備溫度調控功能。此外，為了滿足成像光路要求，以便得到最佳的成像效果，攝像機和光源必須精確可調，關鍵硬件包括CMOS圖像傳感器及鏡頭、光電轉換器以及照明光源，為了保證這些器件的安全與正常工作，需要機械機構具備防護功能，防止油、汽污染。為滿足上述要求。
 

1. 影像微調模塊
2. 

1. 機構布局圖

 

6.軟件組成構架

(1) 總組織構架

(2) 簡單功能介紹構成
(2).1實時畫面
顯示鋼卷實時運行畫面，并展示識別出來的缺陷。


(2).2鋼卷回看

(2).3在線、離線模式
在線模式：顯示實時畫面和鋼卷列表。
離線模式：不顯示實時畫面，顯示鋼卷列表。
操作技巧：實時畫面顯示時，如果最近一段鋼卷需要回看，可以點擊進入離線模式不再接收實時畫面，方便查看最近一段鋼卷。
(2).4鋼卷下載
右鍵點擊下載即可下載鋼卷的所有圖像。下載路徑在客戶端執行目錄，Steels子目錄下。
下載過程中會有進度條顯示下載進度
 
(2).5板報表
統計一個時間段的鋼卷數、缺陷數等信息。

(2).6缺陷過濾、報警
過濾不符合條件的缺陷并對指定的缺陷進行報警等。
多個配置相互獨立，只要滿足一個配置條件即可。

】

7.圖像處理

傅里葉變化處理圖片

8.自學習系統介紹

 
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發現邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進一步抽象（大腦進一步判定該物體是只氣球）。下面是人腦進行人臉識別的一個示例：



我們可以看到，在最底層特征基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特征（輪子、眼睛、軀干等），到最上層，不同的高級特征最終組合成相應的圖像，從而能夠讓人類準確的區分不同的物體。
那么我們可以很自然的想到：可以不可以模仿人類大腦的這個特點，構造多層的神經網絡，較低層的識別初級的圖像特征，若干底層特征組成更上一層特征，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學習算法（包括CNN）的靈感來源。
卷積網絡介紹
卷積神經網絡是一種多層神經網絡，擅長處理圖像特別是大圖像的相關機器學習問題。
卷積網絡通過一系列方法，成功將數據量龐大的圖像識別問題不斷降維，最終使其能夠被訓練。CNN最早由Yann LeCun提出并應用在手寫字體識別上（MINST）。LeCun提出的網絡稱為LeNet，其網絡結構如下：

這是一個最典型的卷積網絡，由卷積層、池化層、全連接層組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特征，最終通過若干個全連接層完成分類。
卷積層完成的操作，可以認為是受局部感受野概念的啟發，而池化層，主要是為了降低數據維度。
綜合起來說，CNN通過卷積來模擬特征區分，并且通過卷積的權值共享及池化，來降低網絡參數的數量級，最后通過傳統神經網絡完成分類等任務。
訓練過程
卷積神經網絡的訓練過程與傳統神經網絡類似，也是參照了反向傳播算法。
 
第一階段，向前傳播階段：
a）從樣本集中取一個樣本(X,Yp)，將X輸入網絡；
b）計算相應的實際輸出Op。
在此階段，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是網絡在完成訓練后正常運行時執行的過程。在此過程中，網絡執行的是計算（實際上就是輸入與每層的權值矩陣相點乘，得到最后的輸出結果）：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
 
第二階段，向后傳播階段
a）算實際輸出Op與相應的理想輸出Yp的差；
b）按極小化誤差的方法反向傳播調整權矩陣。
 
 
 

四、檢測系統與系統對接

1.供電需求

帶鋼表面質量在線檢測系統與生產線基礎接口有著密切相關的聯系。檢測系統的供配電，保護箱體的冷卻以及檢測軟件的啟動、停止、區分子卷、缺陷的定位等與此都密切相關。

序號	項目	具體要求	備注
1	系統供配電（表檢）	220V 32A
	多功能檢測儀（如需）	220V 32A
2	換卷信號	焊縫信號（開關量）	IO接口
3	速度信號	HTL/TTL	轉向輥馬達編碼器信號

2.帶鋼速度跟蹤信號

由于生產線軋制速度的變化，需要接入帶鋼速度信號作為攝像機外部觸發信號，保證攝像機采集速度與帶鋼運動速度同步，不受帶鋼速度變化的影響，所采的圖像能夠保持一個恒定的分辨率，也能夠保證帶鋼的計長及缺陷定位的準確。

3.啟動檢測信號

對于一套帶鋼表面質量在線檢測系統，需要一個信號來告知系統新卷的到來，以此作為新卷的計長開始，以及缺陷距離頭部位置的定位依據。
一般來說，啟動檢測信號需要早于帶鋼頭部到達檢測位置發送給檢測系統。往往選取檢測位置前焊縫檢測儀或者熱金屬檢測儀的信號。
為了確保帶鋼頭部能夠被準確定位，在獲知啟動信號與檢測點的實際距離后，能夠通過恰當的系統設置來對帶鋼上下表面的頭部位置進行糾正。

4.剪切信號

對于布置在出口位置的檢測系統，通過接入剪切信號（final cut/ first cut + final cut），能夠將檢測數據以出口分卷號存儲，配合恰當的系統配置及處理邏輯，可以將現場多種工藝變化，如取樣、切廢、上/下卷取等，在存儲過程中進行個性化定義。
準確的出口分卷檢測數據，便于本機組及下工序的用戶查詢缺陷信息，滿足檢測數據的長期準確追溯的要求。