一、產(chǎn)品結(jié)構(gòu)組成

系統(tǒng)包含六自由度機械臂、寬動態(tài)AI視覺攝像頭、Jetson Nano邊緣處理終端17.3寸邊緣計算顯示單元、機器視覺場景應(yīng)用資源包、可模擬人工智能典型應(yīng)用場景，實現(xiàn)人工智能應(yīng)用技術(shù)教學(xué)實驗。

教學(xué)平臺系統(tǒng)預(yù)裝Ubuntu18.04操作系統(tǒng)，所有環(huán)境代碼庫文件均已安裝，開機即用?；诙嗑S度學(xué)習(xí)實踐平臺，由淺入深循序漸進，從基礎(chǔ)單獨的GPIO擴展開始學(xué)習(xí)過渡到傳感器實驗項目再進入OpenCVPyTorch、ROS系統(tǒng)，機器運動學(xué)，AI機器視覺，AI語音識別聽覺等學(xué)習(xí)，從而學(xué)會AI人工智能開發(fā)。

所提供的算法源代碼（包括人臉檢測、車牌識別、垃圾分類、目標(biāo)檢測），兼容Caffe/TensorFlow/MXNet訓(xùn)練模型和API，可以讓學(xué)生對機器視覺的流程、處理方式等有更好的了解，熟悉相關(guān)算法，了解實際應(yīng)用場景，貼近工程化應(yīng)用。

1、JetsonNano邊緣計算平臺

NVIDIA Jetson Nano是一個小巧卻功能強大的計算機，它可以讓你并行運行多個神經(jīng)網(wǎng)絡(luò)、對象檢測、分割和語音處理等應(yīng)用程序,Jetson Nano搭載四核cortex-A57處理器，128核MaxwellGPU及4GB LPDDR內(nèi)存，帶來足夠的AI計算能力,提供472GFLOP算力,并支持一系列流行的Al框架和算法，比如TensorFlow、Pytorch.caffe/caffe2、Keras、MXNET等

2、機器視覺(機器臂)

視覺機械臂以Jetson nano為主控，Open Source CV為圖像處理庫，以主流的Jupyter Lab為開發(fā)工具,使用Python3為主要編程語言。攝像頭與機械臂機身一體式設(shè)計，“手眼合一”的視覺識別讓機械臂顯得更加靈動，它不僅可以實現(xiàn)顏色識別追蹤與抓取，還能人體特征識別互動，甚至進行垃圾分類模型訓(xùn)練垃圾分揀;通過RO5機器人操控系統(tǒng)，簡化了6自由度串行總線舵機復(fù)雜運動控制。

1080P攝像頭：感光元件尺寸：1/237”最高有效分辨率：1928*1088;數(shù)據(jù)格式：YUY2/MJPG;像素大?。?.0μm*3.0μm;寬動態(tài)范圍：96DB;自動控制：飽和度，對比度，銳度，白平衡，曝光。

機械臂：Cortex-M3內(nèi)核的處理器控制板，自由度桌面式機械臂，大功率串行總線智能舵機，臂展350mm，負載≥300g，帶夾爪，陽極氧化處理鋁合金機身，主要用于工業(yè)機械臂的控制。支持python編程，可靈活和精準(zhǔn)調(diào)節(jié)每一關(guān)節(jié)角度和位置；支持PC上位機、手機APP、USB游戲手柄控制；

3、語音識別-麥克風(fēng)陣列

麥克風(fēng)陣列是基于MSM261S4030H0數(shù)字麥克風(fēng)芯片設(shè)計的，模塊聲音識別靈敏度、信噪比都比較高，可應(yīng)用于聲源定位、語音識別、波束成型等需求場合。

1. :RISC-V Dual Core 64bit,with內(nèi)核,主頻400MHz,8M Byte,內(nèi)置語音識別麥克風(fēng)陣列(8mics),網(wǎng)絡(luò)模型:支持YOLOv3 \ Mobilenetv2 \ TinyYOLOv2,支持TensorFlow/Keras/Darknet/Caffe等主流框架

2. 麥克風(fēng):6+1個MSM261S4030H0組成陣列（聲壓級:140 dB SPL，靈敏度:-26，信噪比: 57dB，THD<1%，時鐘頻率:1.0-4.0MHz正常模式，150-800kHz低功耗模式）

2.燈光:12個LED通過雙信號線級聯(lián)（顏色和亮度可調(diào))

3.支持聲源定位、語音導(dǎo)航、語音交互、離線語音識別。

4、激光雷達

相較于傳統(tǒng)技術(shù)，利用紅外激光設(shè)備可實現(xiàn)超大屏幕的多點觸摸，其反應(yīng)更快、精度更高、抗環(huán)境光能力更強。激光雷達作為核心傳感器，可快速獲得環(huán)境輪廓信息，配合SLAMWARE使用，可以幫助機器人實現(xiàn)自主構(gòu)建地圖、實時路徑規(guī)劃與自動避開障礙物。應(yīng)用領(lǐng)域智能掃地機、家用機器人。

測量半徑：12米，測量頻率：8000次/秒，掃描頻率：5.5HZ，360度掃描測距

工程應(yīng)用方向

1. 計算機視覺基礎(chǔ)應(yīng)用與機械臂的運動控制

   （1）視覺定位：放置任意物體在視野中，在圖像中將其分割（框出來），并輸出中心點坐標(biāo)；

（2）顏色識別和分選：多種顏色混合放置于視野中，每種顏色各一個，控制手臂挑選出某種顏色，并放置在一側(cè)；

（3）顏色識別和堆疊：多種顏色混合放置于視野中，如兩種，每種顏色兩個，控制手臂抓取某種顏色并堆疊，或多顏色分別堆疊；

（4）形狀識別和分選：多種形狀混合放置于視野中，每種形狀各個，控制手臂挑選出某種形狀，并放置在一側(cè)；

（5）形狀識別和堆疊：多種形狀混合放置于視野中，如兩種，每種形狀兩個，控制手臂抓取某種形狀并堆疊，或?qū)⒍喾N形狀分別堆疊；

（6）單一形狀目標(biāo)按大小排序：同種形狀，放置三種不同尺寸的物體于視野中，控制手臂按照從大到小的順序依次放置；

（7）多種形狀目標(biāo)同時按形狀和大小堆疊：三種形狀，每種形狀放置三種不同尺寸的物體于視野中，控制手臂按照不同形狀、從大到小的順序分別進行堆疊（即三個堆垛，均為從大到?。?；

（8）垃圾分類：在目標(biāo)上貼上不同物體的圖案，如白菜、標(biāo)識為有毒物品的玻璃瓶、紙箱，混合放置于視野中，通過配置，控制機械臂按照廚余垃圾、有害垃圾、可回收垃圾進行分類；

（9）手勢交互：比如伸出1、2、3、4個手指，機械臂分別執(zhí)行向上、向下、向左、向右運動，伸出5個手指，則畫一個圓；

（10）目標(biāo)跟蹤：操作者手持一個小球，機械臂識別該小球（形狀或顏色），并隨著小球的移動而移動；

（11）OCR光學(xué)字符識別與排序：目標(biāo)上貼上字符，亂序擺放（可要求字符必須朝同一個方向，但順序是亂的），機械臂通過視覺識別，將其按照123456的順序擺放到指定位置

2.計算機視覺與人臉識別、車牌識別等應(yīng)用

（1）人臉識別：事先錄入人臉，對新的人臉進行識別，識別成功彈出人員的信息，識別不到則提示該人員不在系統(tǒng)中；

（2）人臉門禁：識別到人臉后，打開門禁系統(tǒng)，同時綠色指示燈亮起，識別不到，黃色指示燈亮起，提示無該人員信息；

（3）人員入侵預(yù)警：同上。同一人臉連續(xù)識別超過 3 次，且均顯示不在系統(tǒng)中，紅燈亮起，同時蜂鳴器報警；

（4）車牌識別：事先錄入車牌，對新的車牌進行識別，識別成功彈出車主信息，同時綠色指示燈亮起，識別不到則黃色燈亮起，并提示該車輛不在系統(tǒng)中；

（5）車輛入侵預(yù)警：同上。同一車牌連續(xù)識別超過 3 次，且均顯示不在系統(tǒng)中，紅燈亮起，同時蜂鳴器報警；

（6）運動目標(biāo)識別與跟蹤：采用視頻實時識別的方式，對視野中的一個或多個人員進行識別，框出來，標(biāo)記識別到的人員數(shù)量，并隨著人員的移動進行跟蹤；

3.語音識別與智能家居系統(tǒng)

（1）智能門禁控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和門禁系統(tǒng)控制算法，實現(xiàn)如發(fā)出“開門”的指令，門禁系統(tǒng)自動打開的動作；

（2）智能燈光控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和燈光控制算法，實現(xiàn)如發(fā)出“開燈”的指令，燈光自動打開的動作；

（3）智能風(fēng)扇控制：預(yù)先對語音進行標(biāo)記，通過配置語音指令和風(fēng)扇控制算法，實現(xiàn)如發(fā)出“打開風(fēng)扇”的指令，風(fēng)扇自動開啟的動作；

（4）智能溫濕度檢測：預(yù)先對語音進行標(biāo)記，通過配置語音指令和溫濕度傳感器控制算法，實現(xiàn)如發(fā)出“今天的溫度是多少”的指令，傳感器自動開啟并在屏幕上顯示當(dāng)前環(huán)境溫濕度的動作。

西門子plc仿真實訓(xùn)軟件包括基本指令、應(yīng)用指令、順序控制指令

一、基本指令：電動機啟?？刂?、電動機正反轉(zhuǎn)控制、電動機循環(huán)正反轉(zhuǎn)、可逆運行反接制動、三速電機控制、星角降壓啟動控制、數(shù)碼管點亮控制、交通燈控制、恒壓供水系統(tǒng)控制九項。

1、電動機啟?？刂瓢ǎ簩嵱?xùn)要求、實訓(xùn)器件、器件布局、I/O分配、T型圖、電路連接、通電運行等七項

（1）實訓(xùn)要求：文字、圖片的形式展示。將主要掌握的知識點予以概括，了解本模塊主要的學(xué)習(xí)內(nèi)容包括兩地控制電路的編程方法，學(xué)會實際控制設(shè)計PLC的外圍電路，學(xué)會分局實際控制要求設(shè)計簡單的梯形圖等。

（2）實訓(xùn)器件：列出電動機啟停控制單元所用到的全部器件，包括三相異步電動機、PLC、交流接觸器、三相斷路器、熔斷器、熱繼電器、啟動按鈕、停止按鈕。

（3）器件布局：將器件庫中的仿真器件放到仿真配電柜中的相應(yīng)位置，用于訓(xùn)練學(xué)生對器件及電路的了解。電路上要有相應(yīng)的符號，器件拖拽錯誤器件會拖拽不上去并會有相應(yīng)的聲音顯示。

（4）I/O分配：軟件中有I/O分配地址和電路圖，將鼠標(biāo)點到分配地址資源后會有相應(yīng)的事物圖片展示，用來讓學(xué)生更好的了解器件模型與電路圖。

（5）T型圖：給出缺失符號的T型圖和相應(yīng)的符號，學(xué)生根據(jù)所學(xué)知識用鼠標(biāo)將符號拖拽到T型圖上，如果正確則符號保留在T型圖上，錯誤則消失。

（6）電路連接： 

原理圖中閃爍的線條即為當(dāng)前應(yīng)連接的電路，用鼠標(biāo)點擊連接此線的兩觸點中的一個觸點，然后拖動鼠標(biāo)，找到另一個觸點并點擊，若正確將出現(xiàn)連接線，不正確此線消失，只有當(dāng)該連線連接正確后，才能進行下一條線的接線操作。如果接線中出現(xiàn)困難可點擊“答案”按鈕，點擊后將出現(xiàn)已完成的接線圖，可參考該圖完成你所進行的操作，再次點擊“答案”按鈕，答案將消失。

可以自由接線，參照電路圖可以進行自由接線，如果不會可以點擊提示，鼠標(biāo)點擊任何一個接線熱點另外的一端熱點會閃爍顯示。

（7）通電運行：以仿真實訓(xùn)方式實現(xiàn)。通電后，可按照操作步驟按下相應(yīng)開關(guān)，即可直觀地觀察到電路的運行情況，同時配合模擬真實場景的聲效，達到仿真的效果。

配套實驗內(nèi)容 

Python基礎(chǔ)部分實驗

第一章 Python

第二章 開發(fā)環(huán)境搭建和使用方法

第三章 Python基礎(chǔ)

3.1 Python語法

3.2 Python縮進

3.3 Python注釋

3.4 Python變量

3.5 Python引入外援

3.6 Python基礎(chǔ)數(shù)據(jù)類型

3.7 Python常用操作符

第四章 Python分支與循環(huán)

4.1 Python分支與循環(huán)

4.2 Python條件表達式與斷言

4.3 Python循環(huán)語句

第五章 Python高級

5.1 Python列表

5.2 Python元組

5.3 Python字符串

5.4 Python序列

5.5 Python字典

5.6 Python集合

第六章 Python函數(shù)

6.1 Python函數(shù)的創(chuàng)建與調(diào)用

6.2 Python函數(shù)的參數(shù)及返回值

6.3 Python函數(shù)的變量

6.4 Python函數(shù)式編程

6.5 Python遞歸

第七章 Python存儲

7.1 Python文件

7.2 Python文件系統(tǒng)（OS）

第八章 Python異常處理

8.1 Python try-except語句

8.2 Python try-finally語句

8.3 Python raise語句

第九章 Python類和對象

9.1 Python對象

9.2 Python繼承

9.3 Python多重繼承

9.4 Python組合

9.5 Python魔法方法-構(gòu)造與析構(gòu)

第十章 Python模塊

10.1 Python模塊

10.2 Python包

PyQT部分實驗

第一章 PyQt5

第二章 PyQt5開發(fā)環(huán)境搭建與使用方法

第三章 第一個PyQt5窗口程序

3.1 PC端PyQt5應(yīng)用程序開發(fā)流程

3.2 PyQt5應(yīng)用程序運行在邊緣端

第四章 PyQt5窗口設(shè)計基礎(chǔ)

4.1 單窗口屬性與設(shè)置

4.2 信號與槽

4.3 多窗口設(shè)計

第五章 PyQt5常用控件設(shè)計

5.1 文本類開發(fā)（Label、TextEdit、SpinBox）

5.2 按鈕類開發(fā)（PushButton、CheckBox）

5.3 日期時間類（Data/TimeEdit）

5.4 進度條類（ProgressBar）

5.5 對話框類（QMessageBox）

第六章 PyQt5布局管理

6.1 線性布局

6.2 GridLayout網(wǎng)格布局

第七章 PyQt5數(shù)據(jù)庫

7.1 SQLite數(shù)據(jù)庫

7.2 MySQL數(shù)據(jù)庫

第八章 PyQt5文件操作

第九章 PyQt5多線程編程

9.1 QTimer定時器類

9.2 QThread線程類

第十章 PyQt5程序打包

第十一章 PyQt5網(wǎng)絡(luò)編程

第十二章 PyQt5物聯(lián)網(wǎng)編程

12.2 物聯(lián)網(wǎng)傳感器數(shù)據(jù)獲取并顯示

12.3 物聯(lián)網(wǎng)執(zhí)行器控制

機器視覺部分實驗

第一章 機器視覺說明

1.1 機器視覺介紹

1.1.1 機器視覺簡介

1.1.2 機器視覺發(fā)展

1.2 OpenCV介紹

1.2.1 OpenCV簡介

1.2.2 OpenCV結(jié)構(gòu)圖

第二章 開發(fā)環(huán)境的搭建和使用方法

第三章 OpenCV圖像基礎(chǔ)

3.1 OpenCV讀取圖像

3.2 OpenCV顯示圖像

3.3 OpenCV保存圖像

第四章 OpenCV視頻基礎(chǔ)

4.1 OpenCV捕獲攝像頭

4.2 OpenCV讀取視頻

4.3 OpenCV顯示視頻

4.4 OpenCV保存視頻

第五章 OpenCV繪圖功能

5.1 畫線

5.2 畫矩形

5.3 畫圓

5.4 畫橢圓

5.5 畫多邊形

5.6 圖像上添加文字

第六章 OpenCV圖像操作基礎(chǔ)

6.1 訪問和修改像素值

6.2 訪問圖像屬性

6.3 圖像興趣區(qū)域ROI

6.4 拆分和合并圖像通道

第七章 OpenCV圖像算術(shù)運算

7.1 圖像加法

7.2 圖像融合

7.3 圖像按位運算

第八章 OpenCV顏色空間

8.1 顏色空間介紹

8.2 BGR顏色空間

8.3 GRAY顏色空間

8.4 HSV顏色空間

第九章 OpenCV圖像變換

9.1 圖像縮放

9.2 圖像翻轉(zhuǎn)

9.3 圖像平移

9.4 圖像旋轉(zhuǎn)

9.5 圖像仿射變換

9.6 圖像透視變換

第十章 OpenCV閾值處理

10.1 閾值處理說明

10.2 二階閾值處理

10.3 反二階閾值處理

10.4 截斷閾值處理

10.5 低閾值零處理

10.6 超閾值零處理

10.7 自適應(yīng)閾值處理

10.8 Otsu處理

第十一章 OpenCV圖像金字塔

11.1 pyrDown金字塔向下采樣

11.2 pyrUp金字塔向上采樣

第十二章 OpenCV圖像平滑處理

12.1 均值濾波

12.2 方框濾波

12.3 高斯濾波

12.4 中值濾波

12.5 雙邊濾波

第十三章 OpenCV形態(tài)學(xué)操作

13.1 腐蝕

13.2 膨脹

13.3 開運算

13.4 閉運算

13.5 形態(tài)學(xué)梯度運算

第十四章 OpenCV邊緣檢測

14.1 Canny邊緣檢測基礎(chǔ)

14.2 Canny函數(shù)及使用

第十五章 OpenCV圖像輪廓

15.1 查找和繪制輪廓

15.1.1 查找輪廓

15.1.2 繪制輪廓

15.2 矩特征

15.2.1 計算輪廓面積

15.2.2 計算輪廓長度

15.3 輪廓擬合

15.3.1 矩形包圍框

15.3.2 最小矩形包圍框

15.3.3 最小圓形包圍框

15.3.4 擬合橢圓包圍框

15.4 凸包

第十六章 OpenCV直方圖處理

16.1 繪制直方圖

16.1.1 hist函數(shù)繪制直方圖

16.1.2 calcHist函數(shù)繪制直方圖

16.2 直方圖均衡化

第十七章 OpenCV傅里葉變換

17.1 Numpy實現(xiàn)傅里葉變換

17.2 Numpy實現(xiàn)逆傅里葉變換

17.3 OpenCV實現(xiàn)傅里葉變換

17.4 OpenCV實現(xiàn)逆傅里葉變換

17.5 高通濾波

17.6 低通濾波

第十八章 OpenCV模版匹配

18.1 模版匹配基礎(chǔ)

18.2 模版多匹配

第十九章 OpenCV霍夫變換

19.1 霍夫直線變換

19.2 概率霍夫直線變換

19.3 霍夫圓環(huán)變換

第二十章 OpenCV二維碼識別

第二十一章 OpenCV顏色檢測

第二十二章 OpenCV面部、眼睛檢測

第二十三章 OpenCV汽車和行人檢測

第二十四章 OpenCV手寫數(shù)字識別

深度學(xué)習(xí)部分實驗

第一章 深度學(xué)習(xí)發(fā)展簡史

1.1 人工智能簡介

1.2 神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

1.3 神經(jīng)網(wǎng)絡(luò)發(fā)展簡史

1.4 深度學(xué)習(xí)特點

1.5 深度學(xué)習(xí)應(yīng)用

1.6 深度學(xué)習(xí)框架

第二章 實驗環(huán)境配置

2.1 Anaconda 下載與安裝

2.2 Anaconda 配置tf2 環(huán)境

2.3 Tensorflow 安裝

2.4 Jupyter notebook 安裝

2.5 RK3399 環(huán)境簡介

第三章 TensorFlow 基礎(chǔ)部分

3.1 張量創(chuàng)建實驗

3.2 張量運算實驗

3.3 張量維度變換實驗

第四章 線性回歸

4.1 一元線性回歸實驗

4.2 多元線性回歸實驗

4.3 波士頓房價預(yù)測實驗

第五章 邏輯回歸

5.1 一元邏輯回歸實驗

5.2 多元回歸實驗

5.3 實戰(zhàn)鳶尾花分類實驗

第六章 人工神經(jīng)網(wǎng)絡(luò)

6.1 單層神經(jīng)網(wǎng)絡(luò)實驗

6.2 多層神經(jīng)網(wǎng)絡(luò)實驗

6.3 模型保存或加載實驗

第七章 卷積神經(jīng)網(wǎng)絡(luò)

7.1 卷積操作實驗

7.2 卷積神經(jīng)網(wǎng)絡(luò)實驗

7.3 數(shù)據(jù)預(yù)處理實驗

第八章 神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)

8.1 經(jīng)典神經(jīng)網(wǎng)絡(luò)介紹

8.2 遷移學(xué)習(xí)貓狗分類實驗

第九章 循環(huán)神經(jīng)網(wǎng)絡(luò)

9.1 循環(huán)神經(jīng)網(wǎng)絡(luò)介紹

9.2 情感分類實驗

9.3 文本生成實驗

第十章 人工智能綜合實驗

10.1 人臉識別實驗

10.2 口罩檢測實驗

10.3 水果識別實驗

麥克風(fēng)陣列部分實驗

1. 聲源定位實驗

2. 音頻可視化實驗

3. 語音識別實驗

機械臂部分實驗

基礎(chǔ)實驗

1.控制RGB燈

2.控制蜂鳴器

3.控制單個舵機

4.讀取舵機當(dāng)前的位置

5.一次控制6個舵機

6.機械臂上下左右擺動

7.機械臂跳舞

8.機械臂記憶動作

9.機械臂夾方塊

10.大自然搬運工

11.疊羅漢

人工智能綜合實驗

1.顏色校準(zhǔn)

2.顏色識別抓取積木

3.顏色分揀與堆疊

4.垃圾分揀

5.目標(biāo)追蹤