水果和蔬菜通常對人類(lèi)健康很重要,因為它們富含許多營(yíng)養素,包括鉀、葉酸、維生素 C、膳食纖維等。隨著(zhù)日益增長(cháng)的果蔬需求,農業(yè)機器人成為收獲、修剪、局部噴施等栽培任務(wù)中的熱門(mén)手段,這促進(jìn)了果蔬檢測圖像分析和計算機視覺(jué)方法的發(fā)展。然而,復雜溫室環(huán)境下的葫蘆科果實(shí)時(shí)檢測算法存在諸多挑戰,如葉片遮擋、果實(shí)重疊、逆光、正光等等都是其中的挑戰之一。與此同時(shí),果實(shí)檢測算法被期望具有通用性、輕量級、準確和快速的特點(diǎn)。為此,本研究提出了一種改進(jìn)的YOLO序列檢測算法用于溫室葫蘆科果實(shí)檢測,并與YOLOv4、YOLOv5算法進(jìn)行了比較。研究采用數碼相機采集了苦瓜、黃瓜、甜瓜和博洋蜜瓜的果實(shí)圖像(共2469張,分別為665、664、404和736張),其中包含葉片遮擋、果實(shí)重疊、枝干遮擋、背光、正光等各種環(huán)境條件的圖像(如圖1所示),并將其隨即劃分為訓練集80%、驗證集15%和測試集5%。由于輕量級的YOLOv4、YOLOv5檢測速度快,本研究以此作為框架,在此基礎上,Neck網(wǎng)絡(luò )(如圖3所示)采用路徑聚合網(wǎng)絡(luò )(PANet)和特征金字塔網(wǎng)絡(luò )(FPN)分別將YOLOv4和YOLOv5的骨干殘差塊排列從1、2、8、8、4改進(jìn)為2、3、4、3、2,F、3、9、9、3改進(jìn)為F、3、4、3、2(如圖2和表1所示)。結果表明,與YOLOv4和YOLOv5的Backbone相比,改進(jìn)后的Backbone的檢測精度更高,速度更快。添加PANet的頸部的準確度高于FPN,但FPN的檢測時(shí)間較少。在所測試的改進(jìn)算法中,YOLOv4RPANet檢測結果的平均準確率為91.5%,平均檢測時(shí)間為5.0 ms,優(yōu)于YOLOv4和YOLOv5(如表2所示)。盡管存在差異,其他改進(jìn)的YOLO系列檢測算法也是輕量級的,在更好的泛化性、實(shí)時(shí)檢測果實(shí)以及偽標簽生成器方面具有巨大前景,適用于采摘/收獲機器人。
圖1 各種條件下的果實(shí)圖像:(a)被葉片遮擋;(b)重疊;(c)被枝干遮擋;(d)b背光;(e)正光;(f)YOLO注釋規則,包含對象類(lèi)、坐標、高度和寬度。
圖2 研究采用的改進(jìn)(a)YOLOv5和 (b)YOLOv4 Backbone的果實(shí)檢測算法。
圖3 (a)FPN和(b)PANet的Neck網(wǎng)絡(luò )。
表1 研究所采用的訓練模型的總結
文獻來(lái)源:Lawal, O.M. Real-time cucurbit fruit detection in greenhouse using improved YOLO series algorithm. Precision Agric (2023). https://doi.org/10.1007/s11119-023-10074-0