早上被陽光喚醒時，你隨口一句 「打開窗簾」，窗簾便緩緩展開; 廚房煲湯時，計時器用你的聲音提醒 「還有 5 分鐘關火」; 門口來人時，門鈴不僅能認出熟悉的面孔，還會替你問清來意… 這些曾出現在科幻片裡的場景，正在被 「多模態感知 AI」 悄悄搬進現實。
今天，「AI共行，智超現在」系列第三集，DFRobot的夏青（Rockets Xia）老師會帶著大家一同瞭解：AI 是如何突破單一功能限制，像人類一樣 “能聽、會說、能看”的。 同時，DFRobot 的開源硬體又是如何讓普通人也能玩轉這些黑科技。
-主講嘉賓：-
夏青（Rockets Xia），DFRobot資深工程師，蘑菇雲創客空間共同創辦人
夏青經常活躍於國內外創客社群。 2008年開始致力於推廣創客文化，促進創客運動在中國的發展，2010年與中國創客教父李大維等打造國內首個創客空間－新工場。 2013年在DFRobot和浦軟集團的支持下建置蘑菇雲創客空間。身為蘑菇雲創客空間共同創辦人，經常鼓勵和推動社區創客計畫的推進。身為DFRobot資深工程師，積極致力於推動人工智慧、物聯網等先進技術在創客及創客教育領域的落地與推廣。
訪談影片在這裡 -
↓↓↓
什麼是 「多模態感知」？ AI 也有 “五感”
人類靠眼睛看、耳朵聽、雙手摸來理解世界，AI 的 「多模態感知」 其實是同一個道理 —— 它能融合語音、圖像、觸覺等多種資訊，讓機器不再是只會執行單一指令的工具。
比如你對著智慧音箱說 「播放周杰倫的歌」，它既要聽懂你的語音（語音辨識），又要理解 「周杰倫」 是誰（語義分析），甚至可能結合你之前的聽歌習慣推薦歌曲 —— 這就是多模態協作的簡單案例。 而更複雜的場景裡，AI 還能同時處理聲音、畫面、環境數據：比如自動駕駛汽車，既要 “看” 紅綠燈（圖像識別），又要 “聽” 喇叭聲（語音識別），還要 “感知” 路面摩擦力（觸覺感測器），才能安全行駛。
DFRobot的核心思路，就是把這些複雜的 「感知能力」 拆解成模組化工具，讓普通人不用深究演算法，也能快速搭建屬於自己的智能設備。
從 「聽懂」 到 「會說」：語音交互的黑科技
- 能 「聽懂」 的 AI：離線也安全
語音辨識的本質，是把聲波信號變成文字 —— 就像手機輸入法的語音轉文字功能。 但傳統語音辨識依賴聯網，不僅回應慢，還可能泄露隱私。
DFRobot 的「Gravity： 離線語音辨識模組」解決了這個痛點：它不用連網，就能實時識別指令，回應速度比聯網模式快 3 倍以上。 更重要的是，你的語音數據不會上傳雲端，在智慧家居、兒童玩具等場景里，隱私安全更有保障。
比如視頻中提到的 「自動窗簾」 案例：只需對著模組說 「打開 50%」，它就會通過串口把指令傳給主控板，驅動電機精準調節窗簾開合。 哪怕用方言或快語速，它也能準確識別 —— 這種靈活性讓老房子改造智慧設備變得超簡單。
- 會 「說話」 的 AI：聲音比真人還自然
能聽還得會說，語音合成技術就是讓 AI「開口」 的關鍵。 它把文字拆成最小發音單位（音素），再按人類說話的韻律組合成語音流 —— 就像給機器 “拼拼音”。
「Gravity： 中英文語音合成模組 V2.0」是這方面的高手：它不僅支援中英雙語無縫切換，還能模仿人類說話的語氣起伏，讓 AI 的聲音告別機械感。 更有趣的是，你可以導入自己的錄音或搞笑音效 —— 比如用老闆的聲音做計時器提醒，讓智慧音箱都多了點趣味。
視頻里的 「火箭發射時鐘」 就是個好例子：倒計時時它會用清晰的語音報數 「10、9、8…」，時間到了還會喊 「任務完成」，搭配 LED 閃爍和蜂鳴器，瞬間有了 「發射中心」 的儀式感。 在實驗室、生產線等場景，這種語音提示還能減少操作失誤，提高安全性。
讓 AI “看懂” 世界：二哈也能玩轉的視覺魔法
圖像識別聽起來高深，但 DFRobot 的「Gravity： 二哈識圖 AI 視覺感測器」把它變成了 「傻瓜操作」。。 它的核心亮點是 「一鍵學習」：對著水杯按一下學習鍵，它就記住了 「這是水杯」; 對著你的臉學習一次，下次就能認出你 —— 不用寫代碼，也不用準備海量訓練數據。
它內置了物體識別、人臉識別、顏色識別等 8 種演算法，能輕鬆完成各種任務：比如幫你自動讀取水錶讀數（智慧抄表），給不同顏色的零件分類（智慧分揀），甚至當你靠近時自動解鎖抽屜（人臉識別）。
在演示案例中，二哈識圖能把識別結果即時傳給Arduino或行空板，再結合其他模組觸發動作：比如看到 「快遞盒」 就亮起綠燈，看到 「陌生人」 就啟動警報 —— 這種 “看 + 做” 的聯動，讓 AI 視覺從 “識別” 升級成了 “行動”。
給 AI 一個 「大腦」：主控板如何串聯所有黑科技
多模態感知的關鍵，是讓 「聽、說、看」 的模組協同工作，這就需要一個強大的 「大腦」——DFRobot 的「行空板 M10 Python 教學主控板」就是這樣的存在。
它支援 Python 程式設計，自帶觸控螢幕和豐富感測器，能同時連接語音模組、視覺感測器、電機等設備。 比如視頻中的 「智慧門鎖」 案例：訪客按門鈴時，行空板會啟動離線語音模塊識別 「我是快遞員」，再結合雲端 AI 分析意圖，最後通過語音合成模組回復 「請放門口」 ，全程自動決策，無需人工干預。
如果是入門玩家，「Arduino UNO R3」主控器更合適：它簡單易學，社區資源豐富，能作為底層控制器和高級 AI 模組配合，是學習電子製作的絕佳起點。
普通人也能當 “AI 魔法師”
多模態感知 AI 的魅力，在於它不止是實驗室里的技術，更是每個人都能動手創造的工具：老人可以用語音控制檯燈亮度，學生能做個會喊 “加油” 的備考計時器，創客能搭個自動分類垃圾的智慧垃圾桶…
DFRobot 的模組就像 「AI 樂高」：語音辨識模組負責 「聽」，合成模組負責 「說」，二哈識圖負責 「看」，行空板負責 「思考」 —— 你不需要懂複雜演算法，只需按需求組合，就能讓創意落地。
這一集我們聊了 AI 的 「聽、說、看」。，下一集將探索更酷的方向：AI 如何幫人類突破時空限制，比如監測千里之外的家庭空氣品質，預警看不見的有害氣體。
關注我們的系列視頻，一起用開源硬體解鎖 AI 的更多可能 —— 畢竟，未來的智慧世界，本就該由每個人親手創造。
相關產品資訊：
DFR0706-EN 行空板 -M10
行空板（UNIHIKER）M10是一款高度集成的國產教學開源硬體（擁有自主智慧財產權），專為K12師生設計，適配資訊科技、物理、生物等學科的新課標跨學科教學要求。 集成單板電腦（4核CPU/512MB記憶體/16GB存儲）、Linux系統、完整Python環境、並預裝了常用Python庫，更自帶 2.8 英寸彩色觸摸屏及豐富感測器， 只需兩步就能開始Python教學平臺。
DFRobot官網相關開發資源連結
DigiKey在線購買連結
DigiKey 零件編號： 1738-DFR0706-EN-ND
DFR0100 創客教育入門學習套件 ， 適用於 Arduino UNO R3****開發板和電子產品初學者
Arduino入門套件是專為電子電路搭建和程式設計邏輯初學者設計的一套工具包。 它涵蓋了從基礎的LED控制到複雜的環境感測、監測和執行器應用的課程內容。
DFRobot官網相關開發資源連結
DigiKey在線購買連結
DigiKey 零件編號： DFR0100-ND
SEN0539-EN Gravity ： 離線語音識別模組（I2C & UART）
該模組採用了全新的離線語音辨識晶片。 內置135條常用的固定命令詞條，新增命令詞自學習功能，自學習的命令詞可以不是一段語音，可以是一段口哨、一個響指、一聲貓叫等，支援17條自學習命令詞。 採用雙麥克風收音使模組有更好的抗噪音能力和更遠的識別距離。 模組自帶一個喇叭和外接喇叭的介面，能即時語音反饋識別結果。 模塊採用I2C和UART兩種通訊方式，Gravity介面，相容Arduino Uno、Arduino leonardo、Arduino MEGA、FireBeetle 系列控制器，樹莓派，ESP32等主控。
DFRobot官網相關開發資源連結
DigiKey在線購買連結
DigiKey 零件編號： 1738-SEN0539-EN-ND
SEN0305 Gravity ： 二哈識圖（HuskyLens）AI 視覺感測器
二哈識圖（HuskyLens）是一款簡單易用的人工智慧視覺感測器，內置6種功能：人臉識別、物體追蹤、物體識別、巡線追蹤、顏色識別、標籤識別。 僅需一個按鍵即可完成AI訓練，擺脫繁瑣的訓練和複雜的視覺演算法，讓你更加專注於項目的構思和實現。
DFRobot官網相關開發資源連結
DigiKey在線購買連結
DigiKey 零件編號： 1738-SEN0305-ND
DFR0760 Gravity ： 中英文語音合成模組 V2.0
讓聲音為你的專案增添一抹特色！ 連接上語音合成模組，再添加幾行簡單的代碼就可以讓您的專案開口說話。 無論是中文還是英文對於語音合成模組來說都是「so easy」，播報當前時間，播報環境數據統統不在話下，與語音辨識模組結合還可實現語音對話！ 該模組採用I2C和UART兩種通訊方式，Gravity介面，相容絕大部分主控。 模組上已經自帶了一個喇叭，所以您無需再額外的添加喇叭。
DFRobot官網相關開發資源連結
DigiKey在線購買連結
DigiKey 零件編號： 1738-DFR0760-ND
小編的話：
如文章和視頻所介紹，DFRobot開發板及相關模塊通過「板卡+感測器+軟體棧」的樂高式模組化設計，將多模態AI原型開發的複雜度從「硬體堆砌與演算法調試」大幅簡化為“積木式搭建”。 這一創新實現了“感、算、聯、控”能力，使用戶能夠快速完成方案驗證，高效實現開發目標。