第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
序號(hào)：
編碼：
云南省第十二屆大學(xué)生課外學(xué)術(shù)科技節(jié)作品名稱(chēng)：
基于機(jī)器視覺(jué)以及深度學(xué)習(xí)的蘋(píng)果系統(tǒng)分級(jí)方法研究類(lèi)別： 組別：?自然科學(xué)類(lèi)學(xué)術(shù)論文
□哲學(xué)社會(huì)科學(xué)類(lèi)社會(huì)調(diào)查報(bào)告和學(xué)術(shù)論文□專(zhuān)科學(xué)生□科技發(fā)明制作 A 類(lèi) ?本科學(xué)生□科技發(fā)明制作 B 類(lèi) □碩士研究生
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
基于機(jī)器視覺(jué)以及深度學(xué)習(xí)的蘋(píng)果系統(tǒng)分級(jí)方法研究摘 要：本文通過(guò)對(duì)蘋(píng)果為研究對(duì)象，利用攝像頭對(duì)蘋(píng)果進(jìn)行圖像采集，在完成圖像預(yù)處理后，上傳云端，在云端進(jìn)行數(shù)據(jù)記錄后利用將蘋(píng)果的果徑、果形，果色等特征數(shù)據(jù)傳輸入 CNN 深度學(xué)習(xí)算法中完成機(jī)器視覺(jué)的深度學(xué)習(xí)，使蘋(píng)果系統(tǒng)分級(jí)不斷完善，提高分級(jí)準(zhǔn)確率；對(duì)蘋(píng)果的大小、形狀，色澤，進(jìn)行系統(tǒng)識(shí)別訓(xùn)練和分級(jí)。此研究對(duì)市場(chǎng)企業(yè)需求有一定現(xiàn)實(shí)意義，對(duì)機(jī)器視覺(jué)的深度學(xué)習(xí)算法的研究也有一定的參考價(jià)值。
關(guān)鍵詞：蘋(píng)果的系統(tǒng)分級(jí) 機(jī)器視覺(jué) 深度學(xué)習(xí)算法 市場(chǎng)需求一、 課題研究的背景與意義
1.1 國(guó)內(nèi)蘋(píng)果農(nóng)業(yè)現(xiàn)狀
隨著中國(guó)的歷史發(fā)展逐步走向了新時(shí)期，中國(guó)當(dāng)前的經(jīng)濟(jì)與社會(huì)主要矛盾也已近轉(zhuǎn)變?yōu)槿嗣袢罕妼?duì)日益增長(zhǎng)的美好生活需求，與不均衡不完善的經(jīng)濟(jì)社會(huì)發(fā)展之間的矛盾沖突。人們對(duì)生活質(zhì)量和高質(zhì)量的商品提出了更多的要求，為了使蘋(píng)果滿足人們不斷提高的物質(zhì)質(zhì)量需求，使用智能化的機(jī)械對(duì)蘋(píng)果分級(jí)是勢(shì)在必行的。
中國(guó)自古是農(nóng)業(yè)大國(guó)，農(nóng)業(yè)在我國(guó)的國(guó)民經(jīng)濟(jì)占有及其重要的意義，而蘋(píng)果作為我國(guó)農(nóng)業(yè)中的重要經(jīng)濟(jì)作物，其常年來(lái)占據(jù)我國(guó)水果產(chǎn)量的榜首。據(jù)國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)，2022 年我國(guó)蘋(píng)果產(chǎn)量為 4597.34 萬(wàn)噸，是全國(guó)水果產(chǎn)量第一。就全世界市場(chǎng)來(lái)看，目前我國(guó)蘋(píng)果產(chǎn)量已占據(jù)了全世界蘋(píng)果產(chǎn)量的50％以上，而中國(guó)則是全球最大的蘋(píng)果生產(chǎn)國(guó)，也是全球唯一一個(gè)將蘋(píng)果年產(chǎn)量保持在一千萬(wàn)t 以上的國(guó)家???。從以上數(shù)據(jù)中可以看出蘋(píng)果在我國(guó)乃至世界市場(chǎng)上擁有巨大需求和市場(chǎng)價(jià)值。
而作為“百果之省”的云南，云南的蘋(píng)果具有香、甜、脆等優(yōu)點(diǎn)，已在全國(guó)占有一席之地，與煙臺(tái)蘋(píng)果、陜西蘋(píng)果形成三足鼎立之勢(shì)。得天獨(dú)厚的生態(tài)條件和區(qū)位優(yōu)勢(shì)，讓云南躋身中國(guó)重要的南方優(yōu)質(zhì)蘋(píng)果生產(chǎn)基地。早熟是云南省蘋(píng)果產(chǎn)業(yè)的優(yōu)勢(shì)。已成為我國(guó)當(dāng)仁不讓的生產(chǎn)中早熟優(yōu)質(zhì)蘋(píng)果的最佳生態(tài)地區(qū)，其果品以外觀色澤艷麗、成熟早、甜脆爽口、內(nèi)在品質(zhì)好而著稱(chēng)。云南省有三大蘋(píng)果產(chǎn)區(qū)：昭魯優(yōu)質(zhì)晚熟蘋(píng)果區(qū)、麗江冷涼山區(qū)優(yōu)質(zhì)蘋(píng)果和曲靖早熟優(yōu)質(zhì)蘋(píng)果。種植面積和產(chǎn)量分別占全省總種植面積和總產(chǎn)量的70%和90%。全省果樹(shù)種植面積約 609.75 萬(wàn)畝，其中蘋(píng)果種植面積約60.9 萬(wàn)畝，占全省果樹(shù)總面積 9.98%，蘋(píng)果栽培面積居全省第三位。蘋(píng)果產(chǎn)量達(dá)到33.6 萬(wàn)噸，年產(chǎn)值突破 20 億元。蘋(píng)果產(chǎn)業(yè)已經(jīng)成為云南省滇東北、滇西北冷涼山區(qū)的重要經(jīng)濟(jì)產(chǎn)業(yè)。目前中國(guó)對(duì)大部分的水果分級(jí)方式還是采用人工手動(dòng)分級(jí)，其有主觀上的可以實(shí)現(xiàn)全方面，綜合指標(biāo)高的分級(jí)特點(diǎn)的優(yōu)點(diǎn)，但也存在著以下缺點(diǎn)：1、效率低下，所耗費(fèi)人力物力巨大 2、主觀意識(shí)太強(qiáng)無(wú)法將分級(jí)標(biāo)準(zhǔn)進(jìn)行系統(tǒng)化的統(tǒng)一3、無(wú)法保證蘋(píng)果的不受磕碰和接觸產(chǎn)生的衛(wèi)生安全問(wèn)題?，F(xiàn)有的水果分級(jí)方式多數(shù)針對(duì)是不易產(chǎn)生磕碰的如橙子、柑橘、圣女果，番茄等表皮和內(nèi)部較為柔軟的薈香科和茄科一類(lèi)的水果。蘋(píng)果作為薔薇科的代表植物本生具有較為堅(jiān)硬的特質(zhì)，雖然其儲(chǔ)存期比較長(zhǎng)，但如果有了一些磕碰的印記，其就會(huì)迅速沿著磕碰的組織開(kāi)始1
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
腐爛，腐爛部分的亞硝酸鹽的濃度會(huì)迅速升高，不僅影響購(gòu)買(mǎi)者的觀感，而且對(duì)人體有害。
市場(chǎng)上目前并無(wú)成熟的蘋(píng)果分級(jí)裝置，已有的水果分級(jí)裝置對(duì)蘋(píng)果也并不適用，因此本文展開(kāi)的蘋(píng)果系統(tǒng)分級(jí)的研究有利于中國(guó)與云南本地蘋(píng)果提高在國(guó)際和國(guó)內(nèi)的市場(chǎng)競(jìng)爭(zhēng)力，完成蘋(píng)果分級(jí)的機(jī)械化、高效化、智能化，系統(tǒng)化。為分級(jí)后的營(yíng)銷(xiāo)與購(gòu)買(mǎi)者的購(gòu)買(mǎi)產(chǎn)生更多的便利。
1.2 機(jī)器視覺(jué)的研究現(xiàn)狀
機(jī)器視覺(jué)?????建立于計(jì)算機(jī)技術(shù)的發(fā)展之上的，其是采用計(jì)算機(jī)來(lái)實(shí)現(xiàn)對(duì)三維實(shí)物的認(rèn)知。先通過(guò)攝像頭得到三維實(shí)物的影像數(shù)據(jù)，接著再利用計(jì)算機(jī)視覺(jué)系統(tǒng)把影像數(shù)據(jù)轉(zhuǎn)換為二維或三維矩陣，然后再進(jìn)行矩陣運(yùn)算完成自動(dòng)處理功能。其表現(xiàn)出檢測(cè)效率高、客觀因素強(qiáng)、檢測(cè)準(zhǔn)確率高的顯著特點(diǎn)。目前，機(jī)器視覺(jué)研究產(chǎn)生的成果已廣泛應(yīng)用于工業(yè)制造、農(nóng)業(yè)的種植與采摘、醫(yī)學(xué)機(jī)械的自動(dòng)化診治等領(lǐng)域，并取得了巨大的經(jīng)濟(jì)效益。隨著機(jī)器視覺(jué)技術(shù)的進(jìn)步，越來(lái)越多的研究學(xué)者將其應(yīng)用到農(nóng)產(chǎn)品的生產(chǎn)和種植中，并取得了大量研究成果。國(guó)外在上世紀(jì) 80 年代開(kāi)始機(jī)器視覺(jué)就開(kāi)始在蓬勃發(fā)展，在上世紀(jì)90 年代提出了新理論，新想法并開(kāi)始有了諸多的實(shí)踐。像美國(guó)的康耐視（Congnex）公司、美國(guó)的菲力（Flir）公司日本的基恩士（Keyence）公司在幾十年的發(fā)展中在機(jī)器視覺(jué)領(lǐng)域已經(jīng)有了眾多的專(zhuān)利應(yīng)用工具并且對(duì)公司帶來(lái)了巨大的經(jīng)濟(jì)效益。???而國(guó)內(nèi)在本世紀(jì)初引入機(jī)器視覺(jué)的概念以來(lái)，雖然對(duì)機(jī)器視覺(jué)已經(jīng)有了大量的研究成果與專(zhuān)利發(fā)明，但其一直處于不溫不火的宣傳和學(xué)術(shù)狀態(tài)，導(dǎo)致西方的技術(shù)實(shí)踐水平還是普遍高于中國(guó)。并且國(guó)內(nèi)機(jī)器視覺(jué)技術(shù)存在產(chǎn)品質(zhì)量較差、技術(shù)含量偏低，市場(chǎng)競(jìng)爭(zhēng)力不強(qiáng)等諸多問(wèn)題。在不斷完善和趕超西方的路上，國(guó)內(nèi)的機(jī)器視覺(jué)在醫(yī)療業(yè)、服務(wù)業(yè)、農(nóng)業(yè)等方面開(kāi)始有了大量的實(shí)際應(yīng)用???????。但其在農(nóng)作物分級(jí)領(lǐng)域尤其是在蘋(píng)果的分級(jí)領(lǐng)域的研究在國(guó)內(nèi)的起步時(shí)間較晚，實(shí)物成果較少，商業(yè)化程度不高，且可學(xué)習(xí)程度較差，因此基于機(jī)器視覺(jué)的蘋(píng)果系統(tǒng)分級(jí)有著相當(dāng)大的研究空間和研究?jī)r(jià)值。
1.3 深度學(xué)習(xí)算法的研究現(xiàn)狀
深度學(xué)習(xí)的概念由 Hinton 等人于 2006 年提出，其前身為神經(jīng)網(wǎng)絡(luò)，在2016年 DeepMind 公司所開(kāi)發(fā)的 AphaGo 擊敗圍棋世界冠軍李世石之后，深度學(xué)習(xí)這一概 念才漸漸的被人所認(rèn)可。隨著深度學(xué)習(xí)的發(fā)展，人們通過(guò)使用深度學(xué)習(xí)方法，能夠更有效地處理機(jī)器翻譯、語(yǔ)音識(shí)別、圖像分類(lèi)以及自然語(yǔ)言處理等機(jī)器學(xué)習(xí)類(lèi)問(wèn)題。
深度學(xué)習(xí)具有強(qiáng)大的學(xué)習(xí)能力，它已經(jīng)成功地應(yīng)用于多種模式分類(lèi)問(wèn)題，并且相比于經(jīng)典的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)在識(shí)別精度以及識(shí)別效率上有很明顯的提升。雖然這一領(lǐng)域尚處于起步階段，但深度學(xué)習(xí)的發(fā)展對(duì)人工智能和機(jī)器學(xué)習(xí)領(lǐng)域無(wú)疑會(huì)產(chǎn)生廣泛和深遠(yuǎn)的影響。
在深度學(xué)習(xí)興起之前，多數(shù)模式分類(lèi)、回歸等機(jī)器學(xué)習(xí)方法為淺層結(jié)構(gòu)算法，這些算法的局限性在于：在有限樣本和計(jì)算單元的情況下，對(duì)復(fù)雜非線性函數(shù)的表示能力有限，針對(duì)復(fù)雜分類(lèi)問(wèn)題的泛化能力有一定的缺陷。而深度學(xué)習(xí)可通過(guò)深度網(wǎng)絡(luò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，能夠?qū)崿F(xiàn)表征輸入數(shù)據(jù)分布式表示、復(fù)雜函數(shù)逼近，并且體現(xiàn)了從小樣本數(shù)據(jù)集中學(xué)習(xí)本質(zhì)特征的強(qiáng)大能力。2
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
目前存在的深度學(xué)習(xí)算法有卷積神經(jīng)網(wǎng)絡(luò)（CNN）????，F(xiàn)astR-CNN????與Faster-RCNN???? 算法等。本文采取準(zhǔn)確率較高的 Faster-RCNN 算法1.4 蘋(píng)果分級(jí)的研究現(xiàn)狀
Bhatt 等[40]建立基于機(jī)器視覺(jué)和人工神經(jīng)網(wǎng)絡(luò)的蘋(píng)果分級(jí)系統(tǒng),其具有較好的性能。楊小青[41]等利用像素點(diǎn)變換法計(jì)算蘋(píng)果的表面積以及著色比,依據(jù)此來(lái)判斷蘋(píng)果 等級(jí)。黃兆良等[42]經(jīng)過(guò)在蘋(píng)果 RGB 圖像上進(jìn)行闕值分割,之后采用超紅—超綠闕值分割來(lái)計(jì)算蘋(píng)果的著色面積,最后分級(jí)準(zhǔn)確率達(dá)到90%以上。邱光應(yīng)等[43]把果?；ㄝ嘁约叭毕莸纳?、紋理及形狀作為特征,使用決策向量機(jī)進(jìn)行三者區(qū)分,最終識(shí)別正確率達(dá)到 97.7%。
隨著社會(huì)生產(chǎn)水平的的進(jìn)步與其相應(yīng)的人力成本的提升，水果機(jī)械分級(jí)代替人工分級(jí)成為一種趨勢(shì)。當(dāng)前中國(guó)機(jī)械分類(lèi)于較低水平，中國(guó)現(xiàn)有的機(jī)械分類(lèi)系統(tǒng)主要通過(guò)滾杠式、輥式、滾筒式、條帶型、擋板式等五種機(jī)械式分類(lèi)法完成，分級(jí)類(lèi)目也很少，系統(tǒng)移植性差，而機(jī)械式果蔬分類(lèi)機(jī)也只是識(shí)別果蔬的種類(lèi)，而沒(méi)有識(shí)別果蔬的外觀特征及內(nèi)在質(zhì)量差別，所以也只是一個(gè)比較粗糙的機(jī)械分類(lèi)系統(tǒng)???。
數(shù)字圖像處理是上世紀(jì) 60 年代興起的計(jì)算機(jī)學(xué)科隨著硬件成本的下降與技術(shù)的突破，在 70 年代取得迅速的發(fā)展 70 年代初，以圖像處理技術(shù)為核心的機(jī)器視覺(jué)被應(yīng)用于農(nóng)產(chǎn)品分級(jí)，在農(nóng)產(chǎn)品分級(jí)中，蘋(píng)果分級(jí)因蘋(píng)果龐大的市場(chǎng)而受到關(guān)注，當(dāng)前蘋(píng)果分級(jí)研究主要圍繞大小分級(jí)、顏色分級(jí)和缺陷分級(jí)進(jìn)行。而市場(chǎng)上目前的基于機(jī)器視覺(jué)的蘋(píng)果分級(jí)裝置并沒(méi)有出現(xiàn)，但相同類(lèi)型的草莓，西紅柿，楊梅等的分級(jí)裝置的出現(xiàn)所產(chǎn)生的經(jīng)濟(jì)效益正刺激著蘋(píng)果分級(jí)裝置的研究與落地。
1.5 本文研究的內(nèi)容
基于以上對(duì)機(jī)器視覺(jué)、深度學(xué)習(xí)算法和蘋(píng)果分級(jí)的研究現(xiàn)狀的分析，國(guó)內(nèi)目前缺少一種可進(jìn)行深度學(xué)習(xí)的機(jī)器視覺(jué)設(shè)備來(lái)進(jìn)行蘋(píng)果的系統(tǒng)分級(jí)。因此本文將基于蘋(píng)果的圖像獲取、處理、上傳、數(shù)據(jù)庫(kù)的搭建，以及識(shí)別和深度學(xué)習(xí)算法等幾個(gè)部分展開(kāi)深入研究。具體的研究?jī)?nèi)容如下：
一、緒論。提出本文研究背景與其意義，通過(guò)對(duì)機(jī)器視覺(jué)和蘋(píng)果分級(jí)的研究現(xiàn)狀進(jìn)行分析，從而提出本文的研究?jī)?nèi)容。
二、蘋(píng)果圖像的采集及預(yù)處理????。首先進(jìn)行蘋(píng)果圖像采集系統(tǒng)的搭建，搭建完成后，通過(guò)攝像機(jī)對(duì)蘋(píng)果圖像進(jìn)行采集，進(jìn)行測(cè)試，調(diào)試搭建的圖像采集系統(tǒng)。測(cè)試完成后對(duì)采集的蘋(píng)果圖像進(jìn)行預(yù)處理，以便圖像的后續(xù)處理工作。三、圖像的自動(dòng)上傳和數(shù)據(jù)庫(kù)的搭建。對(duì)預(yù)處理完成的圖像通過(guò)計(jì)算機(jī)完成自動(dòng)上傳。在云端完成圖像數(shù)據(jù)的進(jìn)一步處理，將圖形信息解析為二維數(shù)據(jù)。解析完成后將數(shù)據(jù)進(jìn)行記錄形成深度學(xué)習(xí)算法可理解的訓(xùn)練數(shù)據(jù)庫(kù)。四、果徑、果形，果色的特征參數(shù)以及深度學(xué)習(xí)算法?；谝呀?jīng)產(chǎn)生蘋(píng)果的三維輪廓數(shù)據(jù)，使用已經(jīng)產(chǎn)生并已經(jīng)發(fā)展成熟的 MATLAB 軟件對(duì)蘋(píng)果的圖像數(shù)據(jù)進(jìn)行處理形成蘋(píng)果果徑和果形的參數(shù)特征。蘋(píng)果顏色是將RGB 模型使用算法轉(zhuǎn)化為HSV 模型，從蘋(píng)果的 HSV 模型中獲取蘋(píng)果顏色的特征參數(shù)。最后利用多分類(lèi)SVM分類(lèi)器對(duì)蘋(píng)果進(jìn)行分級(jí)。將之前獲得的果徑、果形，以及果色等的數(shù)據(jù)輸入SVM決策樹(shù)的模塊，再利用分級(jí)模式將水果分成特等果、一等果、二等果和等外水果。3
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
最后將產(chǎn)生的所有數(shù)據(jù)送入 CNN 算法中進(jìn)行機(jī)器視覺(jué)的深度學(xué)習(xí)????。至此此完成系統(tǒng)分級(jí)。
五、總結(jié)與展望。對(duì)本文的研究做出總結(jié)，對(duì)之后的研究方向做出展望。本文的研究路線如圖 1.1 所示
圖 1.1 研究路線圖
二、 蘋(píng)果圖像的采集及預(yù)處理2.1 引言
本章采用激光三角技術(shù)獲得了蘋(píng)果的三維運(yùn)動(dòng)輪廓圖，并建立了由傳感器、電腦、運(yùn)動(dòng)控制器、三維運(yùn)動(dòng)系統(tǒng)、CCD 鏡頭和激光器等構(gòu)成的影像采集體系。該系統(tǒng)可根據(jù)蘋(píng)果大小靈活調(diào)整激光入射角度，以實(shí)現(xiàn)對(duì)被測(cè)物圖像的精準(zhǔn)獲取。圖像采集系統(tǒng)掃描完蘋(píng)果后，將圖像傳回計(jì)算機(jī)，計(jì)算機(jī)又對(duì)圖像進(jìn)行圖像降噪、激光中心線獲取和三維輪廓重塑等操作，實(shí)現(xiàn)圖像的預(yù)處理。2.2 蘋(píng)果圖像采集系統(tǒng)的搭建
為適應(yīng)工業(yè)生產(chǎn)高精度、高效率的生產(chǎn)要求，本文提出了如下圖所示的閉環(huán)控制系統(tǒng)，實(shí)現(xiàn)了圖像采集過(guò)程的自動(dòng)化，高效化。獲取高質(zhì)量的蘋(píng)果圖像作為機(jī)器視覺(jué)檢測(cè)中的一個(gè)重要環(huán)節(jié)，需要圖像采集系統(tǒng)對(duì)被測(cè)物的位置進(jìn)行精確感知，同時(shí)具有能克服外界干擾的良好抗干擾性。因此，需要將圖像采集系統(tǒng)細(xì)分為如下圖 2.1 七個(gè)部分???：
圖 2.1 圖像采集過(guò)程
蘋(píng)果圖 預(yù)處理 數(shù)據(jù)上傳 數(shù)據(jù)整合像
系統(tǒng)分析
MATLA HSVB
圖 像 系
統(tǒng)搭建
果 色 參 數(shù)特征果徑、果型參數(shù)特征測(cè)試
工位信息
CCD 攝像頭 被測(cè)物體傳感器檢
測(cè)
計(jì)算機(jī)
發(fā)
指
令
三維運(yùn)動(dòng)平 激光器臺(tái)
運(yùn) 動(dòng) 控 制
器
4
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
其各個(gè)單元的主要功能為：當(dāng)蘋(píng)果處于輸送帶中，并被輸送至感應(yīng)器的檢測(cè)區(qū)域里時(shí)，由感應(yīng)器向電腦發(fā)出的工位信號(hào)，而當(dāng)電腦獲得了工位信號(hào)時(shí)，則由動(dòng)作控制器發(fā)送指令，并由運(yùn)動(dòng)控制器觸發(fā)三維運(yùn)動(dòng)平板開(kāi)關(guān)，然后CCD 攝像機(jī)和激光器就被放置到了一個(gè)三維運(yùn)動(dòng)平板中，在三維運(yùn)動(dòng)平板打開(kāi)的同時(shí)，CCD攝像機(jī)和激光器也開(kāi)始了啟動(dòng)的工作，同時(shí)對(duì)蘋(píng)果進(jìn)行激光檢測(cè)，在獲得了蘋(píng)果圖片之后 CCD 攝像機(jī)把圖像傳回了電腦里，再進(jìn)行對(duì)后續(xù)圖像的降噪，進(jìn)行激光光心提取等圖像預(yù)處理工作后，就可以準(zhǔn)確得到了蘋(píng)果的三維運(yùn)動(dòng)輪廓立體圖。2.3 蘋(píng)果圖像的采集
獲取的三維輪廓圖形技術(shù)可采用當(dāng)前研究最多的全息干涉法，雙目體視法，以及激光三角技術(shù)等。三種方法均采用非接觸方法對(duì)蘋(píng)果進(jìn)行測(cè)試，避免檢測(cè)時(shí)蘋(píng)果表皮的接觸損傷????。全息干涉法技術(shù)主要用于檢測(cè)表面較為粗糙的物質(zhì)，其分辨率和精度都比較高，它也可以用于探測(cè)表面形狀比較復(fù)雜的物質(zhì)，不過(guò)因?yàn)槠錅y(cè)量范圍比較小，所以要求具有比較高的全息底片；雙目體式技術(shù)則是利用了模仿人類(lèi)雙眼感應(yīng)定位的方法，來(lái)實(shí)現(xiàn)對(duì)被測(cè)對(duì)象三維輪廓的測(cè)量，其主要技術(shù)特點(diǎn)采用了匹配技術(shù)在二個(gè)像素中分別尋找同名的一個(gè)點(diǎn)，不過(guò)由于尋找這樣的一個(gè)點(diǎn)測(cè)量過(guò)程比較復(fù)雜，并且技術(shù)難度也較大，非常容易出現(xiàn)的技術(shù)問(wèn)題；激光三角技術(shù)則主要是利用點(diǎn)光源或直接電纜對(duì)物質(zhì)表面進(jìn)行掃描，它解決了上述二項(xiàng)技術(shù)的不足之處，并且極大地提高了檢測(cè)效果，其偏置面積較大，而測(cè)量范圍又比較大，所以對(duì)于檢出物質(zhì)的技術(shù)要求較小，適應(yīng)性好，而且測(cè)試系統(tǒng)結(jié)構(gòu)簡(jiǎn)單，便利于后期維護(hù)，是一種高效率，快速，準(zhǔn)確，適應(yīng)性都很強(qiáng)的測(cè)量方法。綜上所述，本文章將采用激光三角法對(duì)蘋(píng)果的三維輪廓進(jìn)行測(cè)量與構(gòu)建。激光三角法可采用點(diǎn)激光或線激光，但點(diǎn)激光三角法速度慢、效率低，多用于小型物件的測(cè)量，所以我們采用線性激光三角法對(duì)圖像采集進(jìn)行分析。如下圖2.2
圖 2.2 線性激光三角法
激光光源原理是將點(diǎn)光源先通過(guò)鏡頭準(zhǔn)直，然后再經(jīng)過(guò)柱模板鏡，使射紋向某一方向拉伸而產(chǎn)生線光源，將光源射到被檢出物體上并被反射到CCD 攝像機(jī)的成像平面，由于在入射光和反射光之間形成了一個(gè)三角形，因此可以利用三角幾何定理計(jì)算被測(cè)物體的相關(guān)系數(shù)。其中，根據(jù)入射激光線的角度又可將激光三角法分為垂直入射法和斜入射法????。
5
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
2.3.1 垂直如射法
入射光垂直于參考平面射入的方法被稱(chēng)為垂直入射法，如圖2.3 所示：圖 2.3 垂直入射激光三角法光路圖
入射光 HO 被蘋(píng)果表皮反射后經(jīng)過(guò)透鏡中心 Q，成像于CCD 成像平面。其中，H成像于 N 點(diǎn)，O 成像于 P 點(diǎn)，入射光源與反射光源之間的角度為θ，而反射光源與成像平面間的角度為α，按照與投影相關(guān)的三角幾何學(xué)理論，可以給出以下關(guān)系式（1）：
式（1）
HO——物體高度信息
PN——H 點(diǎn)在 CCD 成像平面成像后的點(diǎn)與 P 點(diǎn)的距離OQ——O 點(diǎn)成像的物距
OP——O 點(diǎn)成像的像距
垂直入射法的激光光線垂直于參考平面投影在蘋(píng)果面上，由于探測(cè)器主要接受太陽(yáng)輻射的漫反射光線，因此入射光軸和接收裝置之間的像空間的角度θ可以靈活選擇，且測(cè)量范圍很大，有利于檢測(cè)表面粗糙度較大的物體，但對(duì)一些更復(fù)雜的曲面采用較小的角θ會(huì)大大降低分辨率和系統(tǒng)的準(zhǔn)確性，而且還會(huì)存在盲點(diǎn)，因此我們要針對(duì)蘋(píng)果形狀選取適當(dāng)?shù)慕嵌取?/p>
2.3.2 斜入射法
斜入射是指入射光線 HO 相對(duì)于透鏡光軸 OQ 垂直射入，與參考平面和CCD成像平面形成一定的夾角，運(yùn)用三角形相似定理求出蘋(píng)果參數(shù)。具體光路圖2.4 如下：6
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
圖 2.4 斜入射激光三角法的光路圖
HO 與參考平面之間的夾角為θ，透鏡光軸與 CCD 成像平面構(gòu)成夾角α，根據(jù)三角形相似定理可得式（2）：
式（2）
HO——物體的高度信息
PN——H 點(diǎn)在成像平面成像后的點(diǎn)相對(duì)于成像基準(zhǔn)點(diǎn)P 的距離OQ——O 點(diǎn)成像的物距
QP——O 點(diǎn)成像的像距
斜入射法中檢測(cè)器主要接收鏡面的反射光，所以要求被測(cè)物體的表面的粗糙度近于鏡面，其分辨率高于垂直入射法，但當(dāng)θ過(guò)大時(shí)會(huì)出現(xiàn)遮光現(xiàn)象。測(cè)量過(guò)程中我們應(yīng)根據(jù)被測(cè)物的條件選取合適的測(cè)量方法。
2.4 對(duì)蘋(píng)果圖像的預(yù)處理
2.4.1 圖像的去噪處理
該系統(tǒng)基于激光三角法搭建了一套三維輪廓檢測(cè)體系，該體系中存在各種光電元件，這些元件較容易受外界因素干擾，例如：環(huán)境溫度，外界光源，內(nèi)部電路噪聲等，這些因素會(huì)對(duì)構(gòu)建的圖像有不同程度的“污染”，因此，需要對(duì)圖像進(jìn)行去噪處理，提高圖像質(zhì)量。
圖像去噪就是對(duì)圖片進(jìn)行濾波處理，過(guò)濾掉圖像的噪聲和干擾，復(fù)原圖像細(xì)節(jié)????。目前，過(guò)濾方法可以大致分為兩類(lèi)：一類(lèi)是直接從圖像所在的空域里對(duì)圖7
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
像進(jìn)行處理，也就從圖像所在的空域里對(duì)直接地對(duì)圖像進(jìn)行處理，也叫做空域過(guò)濾。另一個(gè)方法通過(guò)在信號(hào)的變換域中對(duì)信號(hào)進(jìn)行間接處理，也稱(chēng)之為頻域?yàn)V波。而本文所采用的維納濾波器是屬于空域?yàn)V波中的線性低通濾波，接下來(lái)將對(duì)空域?yàn)V波和線性低通濾波進(jìn)行分析。
如圖 2.5 所示，若假定存在著一個(gè) 3*3 的模板，（A）網(wǎng)格上所標(biāo)注的是所在元素的灰度值，（b）所標(biāo)的為模板系數(shù)，并使 K 零的位置與灰度值為S 零的像素重疊，則模板的響應(yīng) R 如下：
R=K0S0+K1S1+……+K8S8
然后把 R 值賦于 c 圖形（增強(qiáng)圖像）的對(duì)應(yīng)部位，作為（X，Y）位置上的灰度值，對(duì)原圖上的每一點(diǎn)都做了這樣的運(yùn)算后，就能夠得到各點(diǎn)的灰度值。圖 2.5 3*3 模板圖
空間濾波又分為了線性濾波和非線性濾波，線性濾波一般采用傅里葉映射的方式，而非線性則一般可以采用直接對(duì)鄰域?qū)崿F(xiàn)方式。另外，根據(jù)特性的不同，空間濾波器又可以分為了平滑濾波器和尖銳化濾波器。平滑濾波器一般采用低通實(shí)現(xiàn)方式，能消除或減小傅立葉空間的高頻分量，不增加低頻分量。而尖銳化濾波器則一般采用高頻化實(shí)現(xiàn)方式，能消除傅立葉空間的低頻分量，不大減少高頻分量。但由于噪聲也往往集中于高頻部分，因此所采用的濾波器也必須能對(duì)圖像的高頻部分實(shí)現(xiàn)平滑處理，因此只能采用平滑濾波器才可以滿足這一特性。維納濾波器也是一種很常見(jiàn)的線性平滑濾波器，它能夠利用信號(hào)的局部方差來(lái)調(diào)整濾波器的輸出值。且如果局部方差越高，那么維納濾波器的平滑性能也就更好。2.4.2 中心點(diǎn)的獲取
由于激光光線射在被測(cè)物表面是一條從中心線向兩側(cè)光線逐漸變暗且具有一定寬度的激光線，因此它呈在 CCD 攝像機(jī)上會(huì)橫跨幾個(gè)甚至幾十個(gè)像素????。為了提高測(cè)量結(jié)果的精度，就必須進(jìn)行中心點(diǎn)的提取。本文將采用最小二乘曲線擬合的方法對(duì)激光中心點(diǎn)進(jìn)行提取。
最小二乘曲線擬合法是利用通過(guò)比較鄰近的感光器件所檢測(cè)到的發(fā)光強(qiáng)度，進(jìn)而利用插值來(lái)恢復(fù)發(fā)光強(qiáng)度的連續(xù)分布的方式。先用重心法確定激光線的中心閥值線，再找到這條直線的每個(gè)點(diǎn)的光強(qiáng)位置，然后再利用最小二乘曲線擬合這些點(diǎn)，并求得一個(gè)光強(qiáng)分布曲線，最后再對(duì)這個(gè)分配曲線求上確界點(diǎn)，而這個(gè)上確界點(diǎn)即是激光線的光心。
8
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
2.4.3 三維輪廓的重建
蘋(píng)果將經(jīng)過(guò)掃描后所得到的圖像數(shù)據(jù)在輸入計(jì)算機(jī)之后，再進(jìn)行圖像處理就能夠得到一些數(shù)據(jù)點(diǎn)，然后再利用這種數(shù)據(jù)點(diǎn)就能夠構(gòu)建出一個(gè)三維數(shù)據(jù)點(diǎn)，然后再利用這些三維數(shù)據(jù)點(diǎn)就可以實(shí)現(xiàn)了對(duì)物體三維圖像的再現(xiàn)，進(jìn)而復(fù)原了物體的三維形狀。三維重建的技術(shù),一般分為直接體的技術(shù)和對(duì)表面信息的科學(xué)計(jì)算可視化技術(shù)。
直接體繪制法又稱(chēng)體素重建法，在計(jì)算機(jī)模型中，對(duì)象體是以體素為基本構(gòu)建單元，體素可以是球體，柱體等的基本幾何體，但在直接體繪制方法中一般為立方體。該方法的三維重建過(guò)程為：先將切片圖像重疊，只要切片圖像的層距夠小，則切片圖像上的每個(gè)像素都可以擴(kuò)展為空間中的一個(gè)小立方體，該立方體就是體素，然后再把所有體素合起來(lái)就就構(gòu)成了三維體模型。提取物體表面數(shù)據(jù)的科學(xué)計(jì)算與可視化方法稱(chēng)為表面重建法，利用對(duì)物體的表面建模技術(shù)來(lái)進(jìn)行對(duì)物體三維結(jié)構(gòu)的重構(gòu)，其好處在于能夠通過(guò)高度成熟的電腦繪圖技術(shù)對(duì)物體表面進(jìn)行消隱、光照、剪切等運(yùn)算，同時(shí)也因?yàn)閿?shù)據(jù)量較小，計(jì)算效率迅速，而且擁有非常完善的軟硬件技術(shù)。
三、圖像的自動(dòng)上傳與數(shù)據(jù)庫(kù)的搭建3.1 引言
在中國(guó)日益發(fā)展的進(jìn)程中，隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，計(jì)算機(jī)處理視覺(jué)圖像算法速度的顯著提高以及計(jì)算機(jī)視覺(jué)圖像處理技術(shù)的其他諸多優(yōu)勢(shì)，通過(guò)攝像機(jī)激光三角法將以采摘的蘋(píng)果三維輪廓預(yù)處理高清圖像進(jìn)行壓縮之后，無(wú)線自動(dòng)上傳云端，計(jì)算機(jī)視覺(jué)圖像處理相關(guān)技術(shù)可以將圖片信息解析成二維或者三維矩陣數(shù)據(jù)，解析后的數(shù)據(jù)做好相關(guān)記錄形成深度學(xué)習(xí)算法可理解的訓(xùn)練數(shù)據(jù)庫(kù)，為后續(xù)計(jì)算機(jī)深度可執(zhí)行性算法提供最基本的數(shù)據(jù)基礎(chǔ)。3.2 圖像的自動(dòng)上傳
3.2.1 蘋(píng)果預(yù)處理高清圖像的壓縮
在在日常生產(chǎn)生活中研發(fā)相關(guān)人工智能需要用到圖像，但一般利用數(shù)碼相機(jī)或掃描儀獲取的蘋(píng)果圖像都較大。如果直接將這樣的圖像上傳到服務(wù)器端，在上傳和下載過(guò)程中會(huì)消耗很多時(shí)間，同時(shí)也會(huì)給服務(wù)器帶來(lái)很大的負(fù)擔(dān)。實(shí)際應(yīng)用中，在網(wǎng)上傳輸?shù)膱D像都不宜過(guò)大，為了達(dá)到目的，采用對(duì)圖像上傳前用圖像處理軟件 Photo shop ????等自動(dòng)處理生成圖像相應(yīng)的縮略圖，然后再上傳到服務(wù)器的方法，這樣處理顯然增加了工作量，對(duì)處理大量圖像的場(chǎng)合不適用。利用后臺(tái)管理程序把原圖自動(dòng)生成縮略圖并上傳到服務(wù)器的程序系統(tǒng)在這樣的場(chǎng)合顯得非常必要???????，這樣縮略圖的生成和上傳在一段程序中同時(shí)進(jìn)行，既減輕了網(wǎng)站后臺(tái)管理人員的工作量，同時(shí)也提高了工作效率。
3.2.2 預(yù)處理高清圖片壓縮的思路
9
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
基于 windows 系統(tǒng)上的 Net Frame work 提供了一個(gè)GDI+(graphics deviceinterface+）的圖類(lèi)庫(kù)，該類(lèi)庫(kù)通過(guò)直接基于三維蘋(píng)果的分層模塊化設(shè)計(jì)方法，能夠提供一個(gè)簡(jiǎn)單、實(shí)用的圖形系統(tǒng)實(shí)現(xiàn)方法。在 System·Drawing 的空間中，就包括在能夠制作、編輯圖片的各種類(lèi)型中，使用了這種圖片功能的類(lèi)型，就不需要再通過(guò)第三方控件來(lái)進(jìn)行圖片工作，因此這些都可以具備強(qiáng)大的性能來(lái)進(jìn)行一些圖像處理。該方法的格式和參數(shù)如下：
Graphics Draw Image
它可以在指定位置按蘋(píng)果指定大小繪制指定的 Image 對(duì)應(yīng)蘋(píng)果的指定部分，其中，Image 代表要繪制的蘋(píng)果圖像； des Rec tangle 表示一個(gè)Rec tangle結(jié)構(gòu)，它指定所繪制蘋(píng)果圖像的目標(biāo)位置和大小，并將蘋(píng)果圖像進(jìn)行縮放以適合desRec tangle 表示的矩形； src Rec tangle 也表示一個(gè)Rec tangle 結(jié)構(gòu)，它指定 Image 蘋(píng)果中要繪制的部分；Graphics Unit 指定 sie Rec tangle 參數(shù)所用的度量單位，文中以像素 Pixel 為單位。
3.2.3 圖像自動(dòng)上傳的實(shí)現(xiàn)
要得到蘋(píng)果高清圖像的縮略圖，可通過(guò)調(diào)用 Graphics 類(lèi)的Draw Inage方法對(duì)已有圖像進(jìn)行重新繪制來(lái)達(dá)到目的，方法如下：
（1）利用上傳文件控件 File Field 獲取原蘋(píng)果圖像文件并通過(guò)該文件生成三張三維原蘋(píng)果圖像；
（2）新建三張位圖，其位圖大小與要生成的縮略圖大小相同;
（3）利用上面的位圖創(chuàng)建 Graphics 對(duì)象，設(shè)置 Graphics 對(duì)象的插值模式為高質(zhì)量插值法。
（4）設(shè)置 Graphics 對(duì)象的平滑模式為高質(zhì)量平滑程度。（5）利用設(shè)置好的參數(shù)調(diào)用 Draw lnage 方法在指定的位置重新繪圖，生成縮略圖，然后上傳到云端服務(wù)器。
3.3 云端的數(shù)據(jù)記錄
3.3.1 壓縮圖像瀏覽技術(shù)原理
在上傳到云端服務(wù)器的三維蘋(píng)果圖像的標(biāo)準(zhǔn)與三維源文件的格式大相徑庭，所以將源文件轉(zhuǎn)換為瀏覽器中顯示的圖像是一個(gè)復(fù)雜的過(guò)程。無(wú)論文件格式如何轉(zhuǎn)變，其內(nèi)部的核心元素即為它的基本幾何體的表示信息。只要導(dǎo)出關(guān)鍵的基本幾何體信息，就可以將這些元素進(jìn)行重構(gòu)，將幾何體的元素導(dǎo)入web 開(kāi)發(fā)中，進(jìn)而在瀏覽器中表達(dá)出來(lái)????。
3.3.2 云端服務(wù)器幾何數(shù)據(jù)的記錄
對(duì)于任意 3D 物體，其構(gòu)成元素都是頂點(diǎn)、邊和面三種圖形。為了完整表示幾何體的信息通過(guò)云端的解壓服務(wù)系統(tǒng)，將上傳的三維高清圖像按原比例解壓，按照原高清圖片的相關(guān)數(shù)據(jù)參數(shù)記錄幾何數(shù)據(jù)。它能確定三維模型在歐式空間中的位置與大小，比如頂點(diǎn)的坐標(biāo)、邊的方向矢量的法向量。點(diǎn)、邊、面各個(gè)元素之間可以互相轉(zhuǎn)換????。
10
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
3.4 蘋(píng)果三維立體數(shù)據(jù)庫(kù)的搭建
用于描述三維立體中蘋(píng)果形體的構(gòu)造方法，即在某三維形體上不同成分之間的互相聯(lián)系。如層次關(guān)系、連接數(shù)據(jù)等，在源文件中可以找出與此相關(guān)的有效數(shù)據(jù)格式。以常用三維模型文件格式 STL 為后綴的文件源碼為例：3.4.1 點(diǎn)、線、面的信息提取
設(shè) V3n -2(X3n-2, Y3n-2,Z3n-2), V3n-1( X3n -1,Y3n-1,Z3n-1）和V3n (X3n,Y3n ,Z3n）分別是第 n 個(gè)三角面片三個(gè)頂點(diǎn)的坐標(biāo)，集合V ={V1 ( x1, y1 ,z1),V2 ( x2 ,y2,z2),…… V3n (x3n,Y3n,z3n)}是包含該幾何體所有頂點(diǎn)的點(diǎn)集。集合 P ={p 1( a1 ,b1, c1 ), p2 ( a2 , b2 ,c2),……, pn( an , bn, cn )}是包含該幾何體所有法向量的向量集。
從根據(jù)集合和三角面片的個(gè)數(shù)為 n ，可推算出三維立體圖像的全集合E。由此，可以歸納出該源文件中所有的點(diǎn)、線、面信息，從而可以構(gòu)造出原蘋(píng)果的三維模型。????
3.4.2 點(diǎn)、線、面的信息導(dǎo)出
提取出所有的數(shù)據(jù)后，我們需要重構(gòu)新的文件。按照Three . js 的語(yǔ)法規(guī)則，生成可以在線顯示該模型的代碼。根據(jù)上述中集合V ，集合P 和集合E所包含的三維文件新中，可以在 Three . js 中使用以下集合數(shù)據(jù)來(lái)定義3D 模型的文件信息： V1( X1,Y1,Z1), V2 ( X2,Y2,Z3 ),V3n(X3n,Y3n,Z3n),其中每個(gè)三元組（ XK , YK , ZK ）表示一個(gè)頂點(diǎn)坐標(biāo)值。
四、果徑、果形，果色的特征參數(shù)以及深度學(xué)習(xí)算法4.1 引言
鑒于預(yù)處理部分已經(jīng)產(chǎn)生了蘋(píng)果的三維輪廓數(shù)據(jù)與RGB 模型，將用作參照物的 20 個(gè)三維輪廓圖像導(dǎo)入 MATLAB，使用 MATLAB???????中已有的regionprops 函數(shù)獲取數(shù)據(jù)，從而得出蘋(píng)果果徑和果形的特征參數(shù)。果色的特征參數(shù)則將RGB 模型使用算法轉(zhuǎn)化為 HSV 模型，從 HSV 模型中獲取蘋(píng)果的果色特征參數(shù)。利用多分類(lèi)SVM分類(lèi)器對(duì)蘋(píng)果進(jìn)行分級(jí)。將之前獲取的果徑、果形，以及果色特征等參數(shù)都送入了 SVM 決策樹(shù)的分級(jí)模型，通過(guò)分級(jí)模型可以將蘋(píng)果分為特級(jí)果、一級(jí)果、二級(jí)果和三級(jí)果等。最后將判斷得到的所有數(shù)據(jù)導(dǎo)入深度學(xué)習(xí)算法CNN 中進(jìn)行深度學(xué)習(xí)，完成蘋(píng)果系統(tǒng)分級(jí)的自動(dòng)訓(xùn)練。
4.2 果徑、果形，果色特征參數(shù)的獲取MATLAB，是由美國(guó) MathWorks 集團(tuán)在上世紀(jì)七十年代開(kāi)發(fā)的一種應(yīng)用軟件，至今已近運(yùn)行并不斷更新了數(shù)十年，該應(yīng)用軟件是面向科學(xué)計(jì)算、可視化和交互式編程的高科技計(jì)算環(huán)境。它把統(tǒng)計(jì)分析、矩陣運(yùn)算、科研數(shù)據(jù)可視化和復(fù)雜非線性動(dòng)力學(xué)體系的建模與仿真等一系列強(qiáng)大能力融合到了一種容易應(yīng)用的視窗平臺(tái)上，為科研研究、設(shè)計(jì)以及必須開(kāi)展的高效數(shù)運(yùn)算工作創(chuàng)造了一個(gè)更加完善的平臺(tái)。對(duì)于蘋(píng)果果徑和果形的特征參數(shù)的獲取就采用此軟件。11
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
對(duì)已經(jīng)得到的蘋(píng)果的三維輪廓圖進(jìn)行隨機(jī)選取，選取20 張圖像作為參照物的樣本圖像。將 20 個(gè)蘋(píng)果分別使用游標(biāo)卡尺測(cè)量這些蘋(píng)果的實(shí)際果徑大小,并進(jìn)行編號(hào),將圖像導(dǎo)入 MATLAB 中。使用 MATLAB 工具可以求取每個(gè)蘋(píng)果圖像的外接最小矩形框，并利用該軟件中已有的 regionprops 函數(shù)計(jì)算圖像區(qū)域的屬性信息，并讀取矩形的長(zhǎng)、寬數(shù)據(jù)，以長(zhǎng)、寬中的最大值為果徑的數(shù)值。最后把MATLAB系統(tǒng)得徑和實(shí)際直徑進(jìn)行對(duì)比,得到兩者的絕對(duì)誤差,結(jié)果如表4.1 所示。結(jié)果表明,只有兩個(gè)樣本的絕對(duì)誤差超出±2.0mm 范圍,其余絕對(duì)誤 差都在±2.0mm 范圍以?xún)?nèi),符合蘋(píng)果的大小分選標(biāo)準(zhǔn)。最后將蘋(píng)果三維輪廓圖經(jīng)過(guò)邊緣化處理????后得到蘋(píng)果的輪廓數(shù)據(jù)其果形的特征函數(shù)。
樣本編號(hào) 系統(tǒng)值/mm 實(shí)際值/mm 絕對(duì)誤差/mm
1 68.00 67.66 0.34
2 62.90 62.38 0.52
3 62.90 63.21 -0.31
4 62.56 62.02 0.54
5 66.30 66.42 -0.12
6 65.62 65.38 0.24
7 67.32 66.35 0.97
8 72.76 73.80 -1.04
9 74.80 75.12 -0.32
10 78.20 78.52 -0.32
11 76.16 78.56 -2.40
12 73.44 75.26 -1.82
13 82.28 82.60 -0.32
14 71.40 72.62 -1.22
15 68.68 68.38 0.30
16 77.52 78.00 -0.48
17 67.32 68.31 -0.99
18 68.34 68.92 -0.58
19 77.86 78.56 -0.70
20 72.42 73.65 -1.23
表 4.1 蘋(píng)果果徑系統(tǒng)值與實(shí)際值測(cè)量結(jié)果表對(duì)于蘋(píng)果果色特征參數(shù)的獲取將采集的蘋(píng)果圖像選取4.1 三維輪廓圖對(duì)應(yīng)的20 張，將其 RGB 模型利用算法轉(zhuǎn)化為 HSV????模型。得到H（色調(diào)、色相）、S（飽和度、色彩純凈度），V（明度）將其需要的紅色占比的數(shù)據(jù)作為蘋(píng)果果色的特征參數(shù)。下式（3）是把 RGB 模式轉(zhuǎn)換成 HSV 模式的算法，圖4.1 是蘋(píng)果在RGB 和HSV模型下各分量圖：
max=max(R,G,B);
min=min(R,G,B);
V=max(R,G,B);
S=(max-min)/max;
if (R=max)H
=(G-B)/(max-min)* 60 ;
12
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
if(G=max)H=120+(B-R)/
(max-min)*60 ;
if(B=max)H=240+(R-G)/
(max-min)* 60 ;
if(H<0)H=H+360;
式（3）
圖 4.1 蘋(píng)果在 RGB 和 HSV 模型下各分量圖
4.3 SVM 決策樹(shù)分級(jí)模型
SVM 模式[29，43]本身就是根據(jù)二項(xiàng)式分類(lèi)算法建立的，且它對(duì)小數(shù)據(jù)訓(xùn)練集中的分析作用相對(duì)于其他分類(lèi)算法具有良好的效果。但因?yàn)樵摲椒ú捎昧硕喾N特征參數(shù)，所以采用了多分類(lèi)的 SVM 分類(lèi)器對(duì)其進(jìn)行了分類(lèi)。按照表4.2 的水果分類(lèi)方法，把水果分為特等果、一等果、二等果和等外水果共四大類(lèi)型。采用SVM模型的四分評(píng)級(jí)方法一般需要三級(jí) SVM 模型，該模型一般比較復(fù)雜，而且所需要的時(shí)間也比較長(zhǎng)。故為減少該模型的復(fù)雜性，從而提升對(duì)蘋(píng)果的評(píng)級(jí)質(zhì)量，一般采取決策樹(shù)＋和分類(lèi)模型組合的方式進(jìn)行對(duì)蘋(píng)果評(píng)級(jí)。特征 特級(jí) 一級(jí) 二級(jí)果型 具有本品種的固有特性 允許輕微缺陷 有缺陷，但仍保持本品種的基本特征色澤 果面至少有 1/2 著紅色 果面至少有 1/3 著紅色 果面至少有1/5 著紅色果皮缺陷 無(wú) 總面積不超過(guò) 1cm2 總面積不超過(guò)2.5cm2
表 4.2 蘋(píng)果分級(jí)標(biāo)準(zhǔn)
設(shè)蘋(píng)果圖像中的三方面的特征都是η=[R,K,C],其果徑和果形的特征參數(shù)設(shè)為一組η1=[R,K],設(shè)果色的特征參數(shù)η2=[C]為,將等外果的閾值設(shè)為η01=[0.6,0.5]和η02=[0.55] 。模型先對(duì)所有輸入數(shù)據(jù)都作出等外果的判定，而在η1＜01 或η2η02 之后，系統(tǒng)將結(jié)果確認(rèn)為等外果，而不再做后續(xù)處理并直接得出結(jié)論。當(dāng)η1≥01 和η2η02 后,系統(tǒng)將其確認(rèn)為等內(nèi)果并進(jìn)行了后續(xù)的分級(jí)管理。SVM 決策樹(shù)模式,如圖 4.2 所給出。
至此完成一次蘋(píng)果的系統(tǒng)分級(jí)，將每一次分級(jí)產(chǎn)生的各種數(shù)據(jù)記錄入數(shù)據(jù)庫(kù)中，完善用于深度學(xué)習(xí)的訓(xùn)練數(shù)據(jù)庫(kù)。
13
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
圖 4.2 SVM 決策樹(shù)模型
4.4 深度學(xué)習(xí)算法
深度學(xué)習(xí)????是掌握了信息的存在原理和表達(dá)層次，這種知識(shí)方法中得到的信息對(duì)于諸如文本，圖形和語(yǔ)音等信息的理解有著重要的意義。它的最終目標(biāo)，是使電腦可以向人腦那樣具備了數(shù)據(jù)分析的功能，可以分辨文本、圖形和語(yǔ)音方面的信息。而本文的目的則是希望讓電腦能夠分別了解蘋(píng)果的果徑、果形，以及果色的特征參數(shù)，從而提升對(duì)水果分類(lèi)的準(zhǔn)確度。
目前存在的深度學(xué)習(xí)算法有卷積神經(jīng)網(wǎng)絡(luò)（CNN）? ???，F(xiàn)astR-CNN????與Faster-RCNN???? 算法等。CNN 存在參數(shù)過(guò)多、檢測(cè)錯(cuò)誤率高和訓(xùn)練速度太慢等眾多問(wèn)題。Faster RCNN 和 Fast RCNN 的差異,主要在于引進(jìn)的是直接生成網(wǎng)絡(luò)上RPN 候選框的模塊。Faster RCNN 方法的優(yōu)點(diǎn)比較突出，所以本項(xiàng)目就選擇了Faster RCNN 方法開(kāi)展對(duì)計(jì)算機(jī)的培訓(xùn)教學(xué)。
Faster-RCNN 的一個(gè)很簡(jiǎn)單的工作流程，先把輸入信號(hào)進(jìn)行壓縮之后進(jìn)入到折積層提取特征并得到特征圖，接著再把特征圖像進(jìn)入RPN 系統(tǒng)并獲取所有可能的特征候選框，隨后再將最初始的特征圖像和 RPN 系統(tǒng)輸出的所有候選框進(jìn)入到Roi Pooling 層，然后再獲取特征并采集 proposal 數(shù)據(jù)，并計(jì)算出固定的7×7的 proposal feature maps，最后在全連接層上完成了目標(biāo)定位的任務(wù)訓(xùn)練前文得到蘋(píng)果圖像后進(jìn)行了圖像數(shù)據(jù)并建立了訓(xùn)練數(shù)據(jù)庫(kù)。在每次完成分級(jí)后都完善了訓(xùn)練數(shù)據(jù)庫(kù)，將每次分級(jí)完成后的訓(xùn)練數(shù)據(jù)庫(kù)中對(duì)應(yīng)的數(shù)據(jù)在Faster-RCNN 算法中運(yùn)行，完成計(jì)算機(jī)的訓(xùn)練學(xué)習(xí)，逐步完善并提高蘋(píng)果系統(tǒng)分級(jí)的準(zhǔn)確率。
五、 總結(jié)與展望
η1?η01
and
η2?η02
樣本
等外果 等內(nèi)果
SVM1
特級(jí)果 次級(jí)果
SVM2
一級(jí)果 二級(jí)果
η1<η01
or
η2<η02
14
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
基于機(jī)器視覺(jué)以及深度學(xué)習(xí)的蘋(píng)果系統(tǒng)分級(jí)，在國(guó)內(nèi)起步較晚。針對(duì)目前蘋(píng)果分級(jí)不能市場(chǎng)需求的現(xiàn)狀。本文基于三個(gè)主要的方面論述了在圖像采集、圖像處理、數(shù)據(jù)上傳、特征參數(shù)的獲取和深度學(xué)習(xí)算法等方面的具體實(shí)施操作。其具有較高的可行性。其可以提高分級(jí)準(zhǔn)確率的特性，具備較高的實(shí)用價(jià)值和巨大的商業(yè)前景。
因?yàn)樘O(píng)果分級(jí)標(biāo)準(zhǔn)的不同與人民生活水平的不斷提升。今后的研究方向不僅僅局限于蘋(píng)果三方面的特征參數(shù)，可以朝蘋(píng)果紋理、疤痕，甜度等更加具有象征性的方向進(jìn)行深入研究。同時(shí)為了符合市場(chǎng)需求可以在蘋(píng)果的系統(tǒng)分級(jí)設(shè)備方面進(jìn)行研發(fā)和改進(jìn)，解決國(guó)內(nèi)缺少蘋(píng)果自動(dòng)分級(jí)設(shè)備的問(wèn)題。參考文獻(xiàn)
[1] 張放.近十年全球蘋(píng)果生產(chǎn)變化簡(jiǎn)析[J].統(tǒng)計(jì)分析，2021.38(01):24-33.
[2] 朱虹. 機(jī)器視覺(jué)及其應(yīng)用(系列講座) 第三講 圖像處理與分析-機(jī)器視覺(jué)的核心[J]. 應(yīng)用光學(xué), 2007, 28(1): 121-124. [3] 朱云. 機(jī)器視覺(jué)技術(shù)研究進(jìn)展及展望[J].圖學(xué)學(xué)報(bào)，2020,41(6):871-890.
[4] 卞正崗. 機(jī)器視覺(jué)技術(shù)的發(fā)展[J]. 中國(guó)儀器儀表，2015(6):71-75.
[5] 成文. 基于機(jī)器視覺(jué)技術(shù)的機(jī)械制造自動(dòng)化技術(shù)應(yīng)用研究[J]. 科技展望，2017,27(4)：260.
[6] 王風(fēng)云，鄭紀(jì)業(yè)，唐研，等. 機(jī)器視覺(jué)在我國(guó)農(nóng)業(yè)中的應(yīng)用研究進(jìn)展分析[J]. 山東農(nóng)業(yè)科學(xué)，2016,48(4):139-144.
[7] 宋春華. 機(jī)器視覺(jué)研究與發(fā)展綜述[J].裝備制造技術(shù)，2019(06):213-216.
[8] 馬垚. 基于機(jī)器視覺(jué)的蘋(píng)果定向和分級(jí)方法研究[D].江南大學(xué)，2017.
[9] 周文舉. 基于機(jī)器視覺(jué)的在線高速檢測(cè)與精確控制研究及應(yīng)用[D]. 上海大學(xué), 2014.
[10] 湯強(qiáng)晉. 激光三角法在物體三維輪廓測(cè)量中的應(yīng)用[D]. 東南大學(xué), 2006.
[11] 張濤, 劉玉婷, 楊亞寧,等. 基于機(jī)器視覺(jué)的表面缺陷檢測(cè)研究綜述[J]. 科學(xué)技術(shù)與工程, 2020.
[12] 南卓江, 陶衛(wèi), 趙輝. 激光三角測(cè)量技術(shù)的應(yīng)用與前景[J]. 自動(dòng)化儀表, 2019, 40(12):5.
[13] 孫有春, 龐亞軍, 白振旭,等. 激光三角測(cè)量法應(yīng)用技術(shù)[J]. 激光雜志, 2021
[14] 許光宇. 非局部圖像去噪方法及其應(yīng)用研究[D]. 合肥工業(yè)大學(xué), 2013.
[15] 常文慧. 基于計(jì)算機(jī)視覺(jué)的三維輪廓重建[D]. 北京工業(yè)大學(xué). [16] 張國(guó)偉. 基于小波變換的圖像去噪方法研究. 昆明理工大學(xué), 2014.
[17] 張小波. 基于維納濾波的圖像去噪算法研究[D]. 西安電子科技大學(xué). [18] 姜海洋.高清圖像數(shù)據(jù)實(shí)時(shí)記錄系統(tǒng)研究[D].中北大學(xué)，2019.
[19] 劉 波 , 張 鴻 賓 , 王 靖 . 三 維 圖 形 數(shù) 據(jù) 的 壓 縮 與 網(wǎng) 上 瀏 覽[J]. 計(jì) 算 機(jī) 工 程 與 應(yīng)用,2004,28:44-45．
[20] 蔣燕萍,夏旺盛,黃心淵.幾種 Web 3D 技術(shù)的比較[J].北方工業(yè)大學(xué)學(xué)報(bào),2003(1):21-25．[21] 卞敏捷，高玨，高洪皓，許杰品,Web 3D 可視化技術(shù)的研究與應(yīng)用[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015(6):141-144.
[22] 鄭華,宿景芳.面向 Web 的三維模型生成與處理技術(shù)[J].現(xiàn)代電子技術(shù),2015,24:83-86.
[23] 董蕊.Photo Shop 軟件在圖像處理中的應(yīng)用思考與實(shí)踐[J].電子測(cè)試,2014,(22):107-109．[24] 任龍龍.基于 MATLAB 圖像處理的蘋(píng)果大小、顏色、圓形度及缺陷度特征融合分級(jí)研究[J].數(shù)字技術(shù)與應(yīng)用,2021,39(7):90-95.
[25] 中華人民共和國(guó)農(nóng)業(yè)部. NY/T 1793?2009. 蘋(píng)果等級(jí)規(guī)格[S]. 北京:標(biāo)準(zhǔn)出版社,2009. [26] 劉越,石翠萍,牟春苗.基于 MATLAB 的蘋(píng)果表面缺陷研究[J].信息通信,2022,22:50-52.
15
第十二屆云南省大學(xué)生課外學(xué)術(shù)科技節(jié)參賽作品
[27] 程榮花,馬飛,石夢(mèng).基于 HSV 顏色特征的蘋(píng)果病斑點(diǎn)檢測(cè)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].2014,河南科學(xué),32(8):1483-1485.
[28] 邱光應(yīng),彭桂蘭,陶丹,等.基于決策樹(shù)支持向量機(jī)的蘋(píng)果表面缺陷識(shí)別[J].食品與機(jī)械,2017,33(9):131-135.
[29] 李 榮 雨 , 程 磊 . 基 于 SVM 最 優(yōu) 決 策 面 的 決 策 樹(shù) 構(gòu) 造 [J]. 電 子 測(cè) 量 與 儀 器 學(xué)報(bào),2016,30(3):342-351.
[30] 楚瀛，田淞，張桂林等. 基于圖像邊緣特征的前景背景分割方法[J]. 華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版). 2008，36(05):2023. [31] 劉華玲, 馬俊, 張國(guó)祥. 基于深度學(xué)習(xí)的內(nèi)容推薦算法研究綜述[J]. 計(jì)算機(jī)工程, 2021,
47(7): 1-12.
[32]FuChen Chen,Mohammad R.Jahanshahi. NB-CNN:Deep Learning-Based Crack DetectionUsing Convolutional Neural Network and Naive Bayes Data Fusion[C].IEEE Transactions
OnIndustrial Electronics,2018:4392-4400.
[33] R. Girshick, “Fast R-CNN,” in IEEE International Conference on Computer Vision (ICCV),
2015.
[34] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards real-time object detectionwith region proposal networks,” in Neural Information Processing Systems (NIPS), 2015.
[35] 鄭羽綸.基于圖像處理的多特征融合蘋(píng)果分級(jí)方法研究[D].河北:河北科技大學(xué),2020.
[36] 于 蒙 , 李 雄 , 楊 海 潮 . 基 于 圖 像 識(shí) 別 的 蘋(píng) 果 等 級(jí) 分 級(jí) 研 究[J]. 自 動(dòng) 化 與 儀 表 ，2019,34(7):39-47.
[37] 周 曉 彥 , 王 珂 , 李 凌 燕 . 基 于 深 度 學(xué) 習(xí) 的 目 標(biāo) 檢 測(cè) 算 法 綜 述[J]. 電 子 測(cè) 量 技術(shù),2017,40(11):89-93.
[38] 余冬,馮云浩 ,李根池 等.機(jī)器視 覺(jué)在醫(yī)療 器械檢測(cè)中 的應(yīng)用與 展望[J].標(biāo)準(zhǔn)檢測(cè),2015:57-63.
[39] 謝 佩 軍 , 程 越 . 缺 陷 檢 測(cè) 系 統(tǒng) 的 圖 像 預(yù) 處 理 分 析 與 探 討[J]. 圖 書(shū) 情 報(bào) 工作,2007,20(10):67-70.
[40]A.BHATT,D.PANT.Automatic Apple Grading Model Development Based on BackPropagation Neural Network and Machine Vision,and its Performance Evaluation[J].Ai &Society,2015,30 (1):45-56.
[41] 楊 小 青 , 黨 宏 社 . 基 于 像 素 點(diǎn) 變 換 法 的 蘋(píng) 果 顏 色 分 級(jí) 系 統(tǒng) 研 究[J]. 農(nóng) 機(jī) 化 研究,2012,34(3):203-205+241.
[42]黃兆良,朱啟兵.基于 RGB 顏色模型的紅富士蘋(píng)果表皮紅色區(qū)域 檢測(cè)[J].激光與光電子學(xué)進(jìn)展,2016,53(4):64-70.
[43]邱光應(yīng),彭桂蘭,陶丹,等.基于決策樹(shù)支持向量機(jī)的蘋(píng)果表面缺陷識(shí)別[J].食品與機(jī)械,2017,33(9):131-135.
16
