【案例分享】凱基特鋼板表面缺陷在線視覺檢測系統(tǒng)

一、項目概述

凱基特根據(jù)客戶需求，經(jīng)過現(xiàn)場技術(shù)評估，為客戶提供材料發(fā)光論證的鋼卷檢測及相關(guān)技術(shù)服務(wù)。本項目軟件系統(tǒng)采用公司自主研發(fā)的帶鋼表面檢測技術(shù)，孔洞，邊裂打光技術(shù)和在線測量檢測技術(shù)。

二、技術(shù)規(guī)格

1.系統(tǒng)特色

1. 本系統(tǒng)基于機器視覺技術(shù)，具有高速，高精度的新型感光技術(shù)。
2. 采用高速定制LED平行光光源，配合獨有的散熱技術(shù)，保證高亮度、高穩(wěn)定性、使用壽命長，保養(yǎng)簡單。
3. 采用高性能COMS數(shù)字攝像機及光學(xué)技術(shù)，保證高分辨率、高清晰圖像存儲和信息傳輸可靠性。
4. 采用特別設(shè)計的GPU模塊保證高質(zhì)量檢測的同時系統(tǒng)穩(wěn)定運行。
5. 選配的多功能檢測,全長、全寬范圍檢測。--》全長、全寬的多功能檢測范圍
6. 本視覺模塊采用人工智能方向（深度學(xué)習(xí)CV）的自學(xué)習(xí)技術(shù)，樣本不斷對新出來的工藝要求快速自學(xué)，配合現(xiàn)有的圖像庫快速方便的添加需要追溯的問題。
7. 本系統(tǒng)的采用自學(xué)習(xí)系統(tǒng)不斷疊代可以持續(xù)學(xué)習(xí)達到越用越精準、越用越智能的效果。樣本庫可以達到千萬級，有無上限的拓展性。
8. 追溯可視化；方便客戶快捷、便利查詢歷史紀錄；可根據(jù)規(guī)則搜索；支持離線客戶端導(dǎo)出數(shù)據(jù)多端同時查詢等功能。
9. 實時多端在線察看預(yù)警模塊，方便甲方第一時間把控現(xiàn)場情況，及時處理。
10. 通過本系統(tǒng)的軟硬件高度配合，從而滿足金屬工業(yè)嚴格檢測要求，提高成材率，避免缺陷造成的不合格的產(chǎn)品出廠所遭遇的退貨和投訴損失。

2.技術(shù)概要

所采用深度學(xué)習(xí)，打光平行光，高速GIGE，CAMELINK，高速同步裝置，分布式系統(tǒng)可拓展，光學(xué)技術(shù)組合的一個視覺方案。

3.設(shè)計生產(chǎn)主要技術(shù)

帶鋼檢測范圍： 900mm-2000mm
最高檢測速度：600m/min
厚度：2.0mm-12.0mm
鋼卷抖動：小于±10mm

4.技術(shù)指標(biāo)

檢測、分類缺陷類別：翹皮、夾雜、劃傷、壓痕、斑跡、氧斑、山峰狀氧化鐵皮、邊損、孔洞、邊裂、腰折、欠酸洗、停車斑、水印、嚴重色差等；
系統(tǒng)運行率：≥99.8%；
缺陷檢出率：≥95%；
缺陷分類準確率：≥85%

5.設(shè)備布置

檢測平臺前大輥輪處。
 

6.冷軋表面缺陷檢測儀和高精度多功能檢測儀安裝位置

三、系統(tǒng)設(shè)計

1.系統(tǒng)構(gòu)架以及原理圖

 (1) 表檢明場采用平行白光反射機制，配合選配彩色CCD線掃相機（彩鋼），可以拍出各個帶有顏色的缺陷特征及色斑。普通帶蓋可以配合高敏感度CCD黑白線掃，更多敏感度。
 (2) 選配孔洞邊裂模塊系統(tǒng)利用邊裂，孔洞的透光性從物理層面檢測實際缺陷。
 (3) 整個系統(tǒng)采用分布式構(gòu)架，異步硬件構(gòu)架實現(xiàn)機器視覺方面的大量計算工作，采用自學(xué)習(xí)方式提取缺陷。
 (4) 整套系統(tǒng)通訊采用低延遲、有校驗、有自主設(shè)計的UDP通訊機制，保證快速同步數(shù)據(jù)的同時帶來高吞吐量。
 (5) 分布式的系統(tǒng)構(gòu)架可以水平拓展更多存儲空間；更多算力并行；提高相機精度等。方便企業(yè)后續(xù)升級。

2.影像系統(tǒng)

(1) 光路設(shè)計表檢缺陷檢測系統(tǒng)
光源的入射角度與攝像機的拍攝角度稱之為光路，不同缺陷在不同光路下的信號強度是不同的，由于設(shè)備一旦安裝就位就無法改變光路設(shè)計，應(yīng)此光路設(shè)計的精確度決定了缺陷檢出的程度，不同缺陷在不同光路下的信號強度是不同的，因此必須針對不同的應(yīng)用場合和缺陷形貌來設(shè)計相適應(yīng)的光路。

2. 光路設(shè)計多功能檢測儀系統(tǒng)

對于穿透性的缺陷來說，透射光路是最佳的成像方案，由于無害部分不透光，呈黑色，缺陷部分透光，灰度較高,從而在圖像上形成目標(biāo)與背景的最大差異，易于進行后續(xù)的圖像處理與識別。
攝像機與光源呈180度對射，光源采用散射方式，能夠保證光線能夠最大程度的穿過孔洞缺陷抵達感光元件。
同時，由于光的衍射效應(yīng)，透射光路也能夠適量放大光斑，起到提高檢測精度的作用.

(3)分辨率設(shè)計
高速工業(yè)攝像機是通過像元整列來成像的，假設(shè)一臺攝像機的CMOS由橫向30個像元*縱向30個像元組成，那么該攝像機的物理分辨率為900個像素，即其所成的圖像最大為30*30像素。若此圖像所覆蓋的實際空間為橫向3mm、縱向3mm，則定義檢測系統(tǒng)：系統(tǒng)橫向分辨率=3mm/30pixel=0.1mm/pixel，系統(tǒng)縱向分辨率=3mm/30pixel=0.1mm/pixel。缺陷或目標(biāo)的影像也是由像素組成的，如果缺陷所占用的像素過少，軟件算法就無法檢出，然而，如果系統(tǒng)分辨率過小相當(dāng)于放大了背景的紋理，可能使系統(tǒng)檢出大量的無害偽缺陷，造成缺陷溢出。因此，目標(biāo)機組所需檢出的最小缺陷大小決定了系統(tǒng)分辨率的設(shè)計也隨之決定了攝像機的數(shù)量和系統(tǒng)規(guī)模。
 

3.算力系統(tǒng)

(1)算力存儲系統(tǒng)EMC
首先EMC已經(jīng)對VNX系列管理界面進行了很多調(diào)整，使之更交互、更一目了然、更加簡便、容易操作。和主流存儲廠商一樣，界面都是采用基于Java模式的Web UI (user interface)，EMC稱之為USM (Unisphere Service Manager)對陣列進行管理。

(2)算力系統(tǒng)
高吞吐率、低響應(yīng)時間、低資源消耗以及簡便的部署流程要求，因此TensorRT就是用來解決推理所帶來的挑戰(zhàn)以及影響的部署級的解決方案。TensorRT 是nvidia 自己開發(fā)的，主要作用就是對算法進行優(yōu)化，然后進行了部署如下圖。

英偉達專用推理芯片：

4.電氣系統(tǒng)

本系統(tǒng)將集成機械模塊、光源、成像設(shè)備、檢測組件，電腦模塊三電設(shè)備。為保證各類設(shè)備無縫連接并完成設(shè)定功能，電氣集成將選用專用接口設(shè)備保證遠距離、高速、海量圖像數(shù)據(jù)傳輸?shù)姆€(wěn)定性和可靠性；選用專用光纖，高速萬兆網(wǎng)口、光纜及連接設(shè)備保證相機等圖像采集設(shè)備與表面檢測組件間的數(shù)據(jù)連接；光源專用電源電纜設(shè)計，保證現(xiàn)場安裝位置至配電控制柜內(nèi)的恒流器件間長距離電源傳輸?shù)挠行?；保證檢測組件與通用服務(wù)器數(shù)據(jù)通訊連接。

5.機構(gòu)設(shè)計

 
在檢測系統(tǒng)中機械機構(gòu)主要是起到保護支持，防護，精密調(diào)整的作用。機械機構(gòu)必須具備足夠的剛度、強度、抗震性，必須具備溫度調(diào)控功能。此外，為了滿足成像光路要求，以便得到最佳的成像效果，攝像機和光源必須精確可調(diào)，關(guān)鍵硬件包括CMOS圖像傳感器及鏡頭、光電轉(zhuǎn)換器以及照明光源，為了保證這些器件的安全與正常工作，需要機械機構(gòu)具備防護功能，防止油、汽污染。為滿足上述要求。
 

1. 影像微調(diào)模塊
2. 

1. 機構(gòu)布局圖

 

6.軟件組成構(gòu)架

(1) 總組織構(gòu)架

(2) 簡單功能介紹構(gòu)成
(2).1實時畫面
顯示鋼卷實時運行畫面，并展示識別出來的缺陷。


(2).2鋼卷回看

(2).3在線、離線模式
在線模式：顯示實時畫面和鋼卷列表。
離線模式：不顯示實時畫面，顯示鋼卷列表。
操作技巧：實時畫面顯示時，如果最近一段鋼卷需要回看，可以點擊進入離線模式不再接收實時畫面，方便查看最近一段鋼卷。
(2).4鋼卷下載
右鍵點擊下載即可下載鋼卷的所有圖像。下載路徑在客戶端執(zhí)行目錄，Steels子目錄下。
下載過程中會有進度條顯示下載進度
 
(2).5板報表
統(tǒng)計一個時間段的鋼卷數(shù)、缺陷數(shù)等信息。

(2).6缺陷過濾、報警
過濾不符合條件的缺陷并對指定的缺陷進行報警等。
多個配置相互獨立，只要滿足一個配置條件即可。

】

7.圖像處理

傅里葉變化處理圖片

8.自學(xué)習(xí)系統(tǒng)介紹

 
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進一步抽象（大腦進一步判定該物體是只氣球）。下面是人腦進行人臉識別的一個示例：



我們可以看到，在最底層特征基本上是類似的，就是各種邊緣，越往上，越能提取出此類物體的一些特征（輪子、眼睛、軀干等），到最上層，不同的高級特征最終組合成相應(yīng)的圖像，從而能夠讓人類準確的區(qū)分不同的物體。
那么我們可以很自然的想到：可以不可以模仿人類大腦的這個特點，構(gòu)造多層的神經(jīng)網(wǎng)絡(luò)，較低層的識別初級的圖像特征，若干底層特征組成更上一層特征，最終通過多個層級的組合，最終在頂層做出分類呢？答案是肯定的，這也是許多深度學(xué)習(xí)算法（包括CNN）的靈感來源。
卷積網(wǎng)絡(luò)介紹
卷積神經(jīng)網(wǎng)絡(luò)是一種多層神經(jīng)網(wǎng)絡(luò)，擅長處理圖像特別是大圖像的相關(guān)機器學(xué)習(xí)問題。
卷積網(wǎng)絡(luò)通過一系列方法，成功將數(shù)據(jù)量龐大的圖像識別問題不斷降維，最終使其能夠被訓(xùn)練。CNN最早由Yann LeCun提出并應(yīng)用在手寫字體識別上（MINST）。LeCun提出的網(wǎng)絡(luò)稱為LeNet，其網(wǎng)絡(luò)結(jié)構(gòu)如下：

這是一個最典型的卷積網(wǎng)絡(luò)，由卷積層、池化層、全連接層組成。其中卷積層與池化層配合，組成多個卷積組，逐層提取特征，最終通過若干個全連接層完成分類。
卷積層完成的操作，可以認為是受局部感受野概念的啟發(fā)，而池化層，主要是為了降低數(shù)據(jù)維度。
綜合起來說，CNN通過卷積來模擬特征區(qū)分，并且通過卷積的權(quán)值共享及池化，來降低網(wǎng)絡(luò)參數(shù)的數(shù)量級，最后通過傳統(tǒng)神經(jīng)網(wǎng)絡(luò)完成分類等任務(wù)。
訓(xùn)練過程
卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)類似，也是參照了反向傳播算法。
 
第一階段，向前傳播階段：
a）從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；
b）計算相應(yīng)的實際輸出Op。
在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運行時執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計算（實際上就是輸入與每層的權(quán)值矩陣相點乘，得到最后的輸出結(jié)果）：
Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））
 
第二階段，向后傳播階段
a）算實際輸出Op與相應(yīng)的理想輸出Yp的差；
b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。
 
 
 

四、檢測系統(tǒng)與系統(tǒng)對接

1.供電需求

帶鋼表面質(zhì)量在線檢測系統(tǒng)與生產(chǎn)線基礎(chǔ)接口有著密切相關(guān)的聯(lián)系。檢測系統(tǒng)的供配電，保護箱體的冷卻以及檢測軟件的啟動、停止、區(qū)分子卷、缺陷的定位等與此都密切相關(guān)。

序號	項目	具體要求	備注
1	系統(tǒng)供配電（表檢）	220V 32A
	多功能檢測儀（如需）	220V 32A
2	換卷信號	焊縫信號（開關(guān)量）	IO接口
3	速度信號	HTL/TTL	轉(zhuǎn)向輥馬達編碼器信號

2.帶鋼速度跟蹤信號

由于生產(chǎn)線軋制速度的變化，需要接入帶鋼速度信號作為攝像機外部觸發(fā)信號，保證攝像機采集速度與帶鋼運動速度同步，不受帶鋼速度變化的影響，所采的圖像能夠保持一個恒定的分辨率，也能夠保證帶鋼的計長及缺陷定位的準確。

3.啟動檢測信號

對于一套帶鋼表面質(zhì)量在線檢測系統(tǒng)，需要一個信號來告知系統(tǒng)新卷的到來，以此作為新卷的計長開始，以及缺陷距離頭部位置的定位依據(jù)。
一般來說，啟動檢測信號需要早于帶鋼頭部到達檢測位置發(fā)送給檢測系統(tǒng)。往往選取檢測位置前焊縫檢測儀或者熱金屬檢測儀的信號。
為了確保帶鋼頭部能夠被準確定位，在獲知啟動信號與檢測點的實際距離后，能夠通過恰當(dāng)?shù)南到y(tǒng)設(shè)置來對帶鋼上下表面的頭部位置進行糾正。

4.剪切信號

對于布置在出口位置的檢測系統(tǒng)，通過接入剪切信號（final cut/ first cut + final cut），能夠?qū)z測數(shù)據(jù)以出口分卷號存儲，配合恰當(dāng)?shù)南到y(tǒng)配置及處理邏輯，可以將現(xiàn)場多種工藝變化，如取樣、切廢、上/下卷取等，在存儲過程中進行個性化定義。
準確的出口分卷檢測數(shù)據(jù)，便于本機組及下工序的用戶查詢?nèi)毕菪畔?，滿足檢測數(shù)據(jù)的長期準確追溯的要求。