人工(gong)智能(neng)深度(du)學習(xi)實(shi)驗平臺是力宏偉(wei)業科技基于英偉(wei)達Jetson Nano開發(fa)的(de)一款深(shen)(shen)度學習(xi)機器視(shi)覺分揀平(ping)臺，該平(ping)臺采用YoloV5作為神(shen)經(jing)網絡框(kuang)架，可開展Python基礎教學、機器學習(xi)、深(shen)(shen)度學習(xi)、神(shen)經(jing)網絡、大(da)模型推理、Opencv機器視(shi)覺、物聯網傳(chuan)感器等(deng)豐(feng)富的(de)人工智(zhi)能課程。

一(yi)、實(shi)驗平臺具有(you)如(ru)下特點：

1.平(ping)臺一體化設(she)計，包含AI主(zhu)控模(mo)(mo)塊(kuai)(kuai)、功能擴展(zhan)模(mo)(mo)塊(kuai)(kuai)、應用(yong)交(jiao)互模(mo)(mo)塊(kuai)(kuai)、機械(xie)臂執行(xing)模(mo)(mo)塊(kuai)(kuai)、紅外測溫(wen)模(mo)(mo)塊(kuai)(kuai)、視頻采集模(mo)(mo)塊(kuai)(kuai)、識別(bie)與(yu)應用(yong)擴展(zhan)模(mo)(mo)塊(kuai)(kuai)等(deng)組成(cheng)。

2.平臺(tai)基(ji)于模塊化(hua)設計。

3.視頻采集模(mo)塊配置(zhi)USB接口攝(she)像(xiang)頭及支架(jia)，支架(jia)支持360度任意(yi)角度調整(zheng)功能。

4.應(ying)用交(jiao)互模塊(kuai)配置11.3吋(cun)IPS顯(xian)示屏，分辨率1920*1080，支持(chi)多(duo)點(dian)觸摸(mo)，HDMI輸(shu)入(ru)。

5.配(pei)(pei)備智能(neng)倉(cang)儲(chu)模塊，配(pei)(pei)置5單元的(de)倉(cang)儲(chu)柵(zha)格。

6.配備物品分揀模塊(kuai)，配置紅外功能(neng)單(dan)元。

7.配備紅外測溫(wen)模(mo)塊，支持人體體溫(wen)檢測。

8.配備超聲波模(mo)塊，支持障礙物距離檢(jian)測。

二、硬(ying)件(jian)系統

1.AI主控模塊

1）四(si)核ARM Cortex-A57 MPCore處理器，最大頻率(lv)為1.43GHz；

2）具有(you)128個NVIDIA Maxwell架構的CUDA核心；

3）配(pei)(pei)備WiFi/藍牙(ya)接口(kou)，支持5G/2.4G雙頻，配(pei)(pei)備千兆以太網接口(kou)，提(ti)供HDMI、Display Port顯示接口(kou)、2路MIPI攝像頭接口(kou)，4路USB接口(kou)；

4）可實時處理8個高(gao)清全(quan)運動視(shi)(shi)頻流，具有(you)圖形加(jia)速功能，支持(chi)TensorFlow、PyTorch、Caffe/Caf2、Keras、MXNet等多(duo)種(zhong)主流深度(du)學習框架，可實現圖像(xiang)識別(bie)、目標檢測(ce)和(he)定(ding)位、語義分割、視(shi)(shi)頻增強(qiang)和(he)智(zhi)能分析等人工智(zhi)能應用。

2.功(gong)能擴展板

1）板(ban)載(zai)LED燈，支持開發板(ban)的IO口信號輸出控制；

2）板載(zai)按鍵，支持開發(fa)板的(de)IO口信(xin)號(hao)讀取輸入；

3）板載(zai)有源蜂鳴(ming)器(qi)，支持開發板的IO口信號(hao)輸出(chu)控(kong)制；

4）板載風扇，支持(chi)開發(fa)板的(de)IO口信號輸出控制；

5）板載數字式(shi)光照(zhao)傳感(gan)器，支持開(kai)發板的I2C總線通訊；

6）板載位數8位，速度10KHz的AD/DA芯片，支(zhi)(zhi)持開發板的I2C總(zong)線通訊，支(zhi)(zhi)持擴展功能；

7）板載開關(guan)信(xin)號插座，配置外接(jie)紅(hong)外線(xian)檢測光關(guan)，支持IO口開關(guan)量信(xin)號讀取。

3. 機械臂執行(xing)模塊

1）6自由度活動機械臂；

2）支持PC,手機，鼠標、遙控器方式控制機械臂(bei)動作；

3）支(zhi)持各關(guan)節電機溫度、電壓、位置參數讀取(qu)；

4）支持掉電保存用戶設(she)置；

5) 支持電機堵轉保護和過溫保護；

6) 支持電腦編程、離線動(dong)作組編程；

7) 支持(chi)UART串口指(zhi)令(ling)；

8) 提供(gong)串口控(kong)制協議，支持(chi)二(er)次開發；

9）機械臂(bei)末端配備夾持工具(ju)；可夾持多種形狀(zhuang)物體(ti)。

10）最大(da)負載：480g；

11）重復(fu)定(ding)位精(jing)度：0.5mm；

12）工作范圍：400 mm。

三、 深度學習(xi)模型訓練和(he)部署平臺

1.功能要求

1）項目配置(zhi)

①支持用戶根據項(xiang)(xiang)目(mu)(mu)屬性(xing)自定(ding)義(yi)新建項(xiang)(xiang)目(mu)(mu)及項(xiang)(xiang)目(mu)(mu)目(mu)(mu)錄，項(xiang)(xiang)目(mu)(mu)保存(cun)后(hou)，應(ying)在自定(ding)義(yi)的(de)(de)目(mu)(mu)錄下自動生成(cheng)項(xiang)(xiang)目(mu)(mu)所需的(de)(de)文件(jian)目(mu)(mu)錄；

②支持(chi)新建(jian)多(duo)個項目(mu)，支持(chi)對已(yi)創建(jian)項目(mu)進行編輯，包括刪除(chu)、修改以及(ji)切換至使用(yong)狀態等操作；

③支持CPU、GPU等多種訓練模(mo)式(shi)，使用戶可(ke)以根據硬件要求自行選擇合(he)適的算(suan)力模(mo)式(shi)。

2）數據(ju)采集

①平臺支持通(tong)過網絡(luo)爬取和視頻(pin)抽(chou)幀的方式采(cai)集(ji)原始圖像數據(ju)(ju)，通(tong)過Web界面進行可(ke)(ke)視化的功(gong)能(neng)呈現，用戶通(tong)過選擇(ze)功(gong)能(neng)選項及(ji)簡(jian)單(dan)配置，可(ke)(ke)快速進行數據(ju)(ju)采(cai)集(ji)工作。平臺開放數據(ju)(ju)采(cai)集(ji)插(cha)件，能(neng)夠(gou)編寫自定義代碼并運行，進行數據(ju)(ju)采(cai)集(ji)。

網絡爬(pa)取的采集方(fang)式(shi)支持從數(shu)據(ju)(ju)靶站(zhan)和瀏覽器采集圖像數(shu)據(ju)(ju)，爬(pa)取數(shu)據(ju)(ju)可能(neng)產生的風險，平(ping)臺(tai)內(nei)置(zhi)數(shu)據(ju)(ju)靶站(zhan)，提(ti)供多(duo)種行業(ye)應用數(shu)據(ju)(ju)，用戶通(tong)過配置(zhi)數(shu)據(ju)(ju)源的URL地址，模擬(ni)用戶網站并進行數據采(cai)集(ji)工作；瀏覽器(qi)采(cai)集(ji)模式能夠支持(chi)通過關(guan)鍵(jian)詞檢索進行目標圖片(pian)的(de)采(cai)集(ji)，支持(chi)數量的(de)自定義設置。

視(shi)頻抽幀(zhen)的(de)采集(ji)方(fang)式支持(chi)通過在本地視(shi)頻流中截取圖像(xiang)(xiang)和基于攝像(xiang)(xiang)頭進行實時(shi)(shi)采集(ji)圖像(xiang)(xiang)，圖像(xiang)(xiang)采集(ji)時(shi)(shi)，支持(chi)按鍵截取、間隔提取、幀(zhen)提取等多種方(fang)式。

3）數據(ju)處理

①平臺(tai)支持通(tong)過(guo)(guo)(guo)數(shu)據(ju)(ju)清洗(xi)與數(shu)據(ju)(ju)增(zeng)強等(deng)技術對(dui)原始圖(tu)像數(shu)據(ju)(ju)進(jin)行(xing)處(chu)理(li)，通(tong)過(guo)(guo)(guo)Web界面進(jin)行(xing)可視化(hua)的(de)(de)功(gong)能(neng)(neng)呈現(xian)。數(shu)據(ju)(ju)清洗(xi)支持數(shu)據(ju)(ju)去重、數(shu)據(ju)(ju)過(guo)(guo)(guo)濾、數(shu)據(ju)(ju)修復等(deng)功(gong)能(neng)(neng)，數(shu)據(ju)(ju)增(zeng)強支持通(tong)過(guo)(guo)(guo)幾(ji)何(he)變換(huan)、色(se)彩變換(huan)、圖(tu)像擦除等(deng)方式進(jin)行(xing)圖(tu)像數(shu)據(ju)(ju)擴充。每個功(gong)能(neng)(neng)模(mo)塊(kuai)開放(fang)功(gong)能(neng)(neng)插件(jian)，用戶能(neng)(neng)夠編(bian)寫自定(ding)義代碼并運(yun)行(xing)，進(jin)行(xing)相(xiang)關的(de)(de)數(shu)據(ju)(ju)處(chu)理(li)操作。

②數據(ju)去重(zhong)模塊配套默認算法，能夠(gou)將(jiang)相似度高的圖像(xiang)(xiang)視為(wei)重(zhong)復圖像(xiang)(xiang)進行(xing)(xing)刪除，同時支持(chi)編輯插件進行(xing)(xing)自定義代(dai)碼的編寫，以實現(xian)個性化(hua)的數據(ju)去重(zhong)功能；

4）數據標(biao)注

①平臺需配套多種通用的數據(ju)標注工具；

②支(zhi)持矩形(xing)(xing)標(biao)注方式；針對(dui)圖像分割任務，支(zhi)持多邊形(xing)(xing)、矩形(xing)(xing)、圓形(xing)(xing)、直(zhi)線(xian)、點、線(xian)帶等多種標(biao)注方式；

③平臺提供數據格式(shi)轉(zhuan)(zhuan)換工具，能夠進(jin)行json轉(zhuan)(zhuan)xml、json轉(zhuan)(zhuan)txt、xml轉(zhuan)(zhuan)txt等多種數據格式(shi)的相互轉(zhuan)(zhuan)換，支持默認功(gong)能的運行使用以(yi)及通過(guo)編輯(ji)插件更(geng)新代碼的方式(shi)進(jin)行功(gong)能自定義；

④支持數(shu)據(ju)(ju)集(ji)快(kuai)速(su)配置(zhi)，能夠配置(zhi)自定(ding)義(yi)訓練數(shu)據(ju)(ju)集(ji)路(lu)徑(jing)、驗證數(shu)據(ju)(ju)集(ji)路(lu)徑(jing)、類(lei)別數(shu)量、類(lei)別名(ming)稱。

5）模(mo)型(xing)訓練

①支持自定義搭建神經網絡模型(xing)進(jin)行(xing)訓(xun)練以(yi)及(ji)基于(yu)TensorFlow、Pytorch等預訓(xun)練模型(xing)進(jin)行(xing)訓(xun)練；

②支持數據模型(xing)的快捷(jie)化訓(xun)練(lian)，通過填寫相關(guan)訓(xun)練(lian)參(can)數能(neng)夠一鍵啟動模型(xing)訓(xun)練(lian)任(ren)務；

③支持對訓練參(can)數(shu)的配置與調(diao)優，算法的訓練參(can)數(shu)全部開放，能夠調(diao)整相關訓練參(can)數(shu)；

④支(zhi)持模型(xing)訓練過程的可視化呈(cheng)現，能夠(gou)實時(shi)顯示模型(xing)訓練的各項指標(biao)；

⑤支(zhi)持(chi)查(cha)看訓(xun)練(lian)日(ri)志，能夠記錄模型訓(xun)練(lian)過(guo)程，監控模型的核心指標。

6）模型驗(yan)證與部署

①支(zhi)持模(mo)型的(de)驗證(zheng)功能(neng)，能(neng)夠(gou)自定義修改模(mo)型名稱以及加載(zai)任(ren)意路徑下的(de)模(mo)型進行(xing)(xing)(xing)運行(xing)(xing)(xing)測試，支(zhi)持攝像頭(tou)實時驗證(zheng)、本地圖片/視頻驗證(zheng)，模(mo)型的(de)驗證(zheng)可通過Web界面進行(xing)(xing)(xing)可視化的(de)功能(neng)呈(cheng)現；

②支(zhi)持加載本(ben)地(di)攝像頭(tou)進行實時的(de)視頻(pin)驗證(zheng)；本(ben)地(di)圖(tu)像/視頻(pin)驗證(zheng)方式支(zhi)持自定(ding)義驗證(zheng)數據（圖(tu)片或視頻(pin)）的(de)輸入(ru)路徑，以及驗證(zheng)結果的(de)輸出路徑；

③支(zhi)持模(mo)(mo)型(xing)(xing)的(de)部(bu)署(shu)功(gong)能，支(zhi)持模(mo)(mo)型(xing)(xing)的(de)手動(dong)部(bu)署(shu)和自(zi)動(dong)推送；手動(dong)部(bu)署(shu)方式(shi)支(zhi)持將(jiang)訓練(lian)好(hao)的(de)模(mo)(mo)型(xing)(xing)導出至本(ben)地計算機；自(zi)動(dong)推送方式(shi)通過填寫目標設備的(de)IP地址(zhi)及(ji)與遠端路徑，可(ke)將(jiang)模(mo)(mo)型(xing)(xing)部(bu)署(shu)至邊緣終端，模(mo)(mo)型(xing)(xing)的(de)部(bu)署(shu)可(ke)通過Web界面進(jin)行(xing)可(ke)視化的(de)功(gong)能呈現。

四、課(ke)程資(zi)源配置

1.Python基礎

1）流程控制：組(zu)成(cheng)3位(wei)數，數字三角形

2）數據結構(gou)和文件：學(xue)生管理(li)系統(tong)

3）面相對象(xiang)：三維(wei)向量(liang)類(lei)，日期(qi)類(lei)

2.Python嵌入式開發

1）GPIO操(cao)作(zuo)：控(kong)制(zhi)LED燈，讀取按(an)鍵(jian)狀態(tai)，控(kong)制(zhi)蜂鳴(ming)器、風(feng)(feng)扇(shan)，按(an)鍵(jian)控(kong)制(zhi)LED燈、風(feng)(feng)扇(shan)、讀取超聲(sheng)波測距模塊數(shu)據。

2）串口通信測(ce)溫(wen)

3）I2C通信測光照

4）網絡通信遠程控(kong)制LED燈。

3.OpenCV圖(tu)像處理(li)

1）圖(tu)像(xiang)和視(shi)頻(pin)：顯示圖(tu)片，攝像(xiang)頭捕(bu)獲視(shi)頻(pin)，播放(fang)視(shi)頻(pin)文(wen)件，視(shi)頻(pin)截(jie)圖(tu)

2）顏色(se)處理：灰度圖片，滑(hua)塊(kuai)控件使用，圖像閾值，顏色(se)過(guo)濾

3）圖像平滑

4）圖像(xiang)合成(cheng)

5）圖(tu)像特征提(ti)取：邊(bian)緣檢(jian)測、輪廓提(ti)取，直線檢(jian)測

6）人(ren)臉識(shi)別：識(shi)別人(ren)臉特征(zheng)，并(bing)在屏幕標注

7）顏(yan)色識別(bie)：識別(bie)顏(yan)色，并(bing)在屏幕(mu)標注

8）二(er)維碼(ma)識別：識別二(er)維碼(ma)內(nei)容，并在屏幕顯(xian)示

4.機器學習(xi)實戰(zhan)：

1）K近(jin)鄰識別手勢

2）線性(xing)回歸預測PM2.5

3）貝葉斯(si)分(fen)類(lei)判斷垃(la)圾短(duan)信

4） SVM識別手寫數(shu)

5.深度學習理論與實戰(zhan)：

1）環境搭(da)建

2）實(shi)時目標檢測

3）使用YOLOV5自(zi)定(ding)義模型

4)  綜合案例:物品(pin)分揀系(xi)(xi)統(tong)(tong)、廣告推薦系(xi)(xi)統(tong)(tong)、疫情防(fang)控系(xi)(xi)統(tong)(tong)、智能倉儲系(xi)(xi)統(tong)(tong)、明星撞臉系(xi)(xi)統(tong)(tong)、病害識別系(xi)(xi)統(tong)(tong)。

7.面向機(ji)器(qi)人技(ji)術、控制與仿真(zhen)、智(zhi)能控制、程序設計、機(ji)器(qi)學習、深度視覺等相關課程，設計相關實驗。

提供所有實(shi)驗項目的詳細使(shi)用說明書、實(shi)驗指導(dao)書、實(shi)驗例(li)程源碼(ma)。