本帖最后由 ListenAI 于 2024-6-12 19:26 編輯
視覺語音大模型 AI 開發(fā)套件( CSK6-MIX )是圍繞 CSK6011A 芯片設計的具備豐富語音圖像功能與硬件外設的開發(fā)板，采用具備豐富組件生態(tài)的 Zephyr RTOS作為操作系統(tǒng)，官方提供了十幾種開源SDK，包含大模型語音交互、大模型拍照識圖、文生圖、人臉識別、頭肩追蹤、手勢識別、坐姿提醒等。 聆思提供還提供了模型訓練推理工具將自己的算法模型部署至芯片上，也可以配合這個工具構建自己的 AI 應用。 功能特性 功能概述 ● 使用聆思 CSK6011A 芯片作為主控，板載 16MB Flash ● 集成攝像頭、麥克風、揚聲器、屏幕等豐富外設配件 ● 配套多模態(tài)應用示例，支持快速上手體驗大模型語音交互、智能視覺等 AI 應用 ● 板載 DAPLINK 調試器，外接一條USB 線即可實現(xiàn)燒錄、調試、串口日志查看 ● 板載網(wǎng)絡模組，支持開發(fā)聯(lián)網(wǎng)類應用 大模型示例SDK清單SDK集成了星火大模型，可以二次開發(fā)改接其他大模型，示例清單見下表，可以直接通過鏈接進行固件燒錄并下載： 序號 | 大模型功能 | 使用教程 | 功能說明 | 1 | 大模型多模態(tài) | | 套件出廠默認應用。包含大模型語音問答、拍照識圖、大模型繪圖等豐富供能示例，支持語音喚醒、多輪語音交互。 | 2 | 智能對話 | | 除了大模型語音對話，還集成了可離線運行的坐姿檢測算法，是一個 大模型在線服務+離線AI能力 的示例。 | 3 | 智能對話 + 文生圖 + 設備控制 | | 該示例展示了如何通過大模型實現(xiàn)語音輸入意圖的理解，實現(xiàn)對話、繪圖和控制開發(fā)板屏幕顏色進行切換，用戶可參考代碼與教程自行修改。 | 4 | 接入自定義應用 | | 講解如何在云端快速建立一個自定義大模型應用并接入到開發(fā)套件上實現(xiàn)語音交互，由淺入深地展示如何開發(fā)自己的大模型助手。 |
離線AI能力示例SDK清單LNN AI示例SDK清單LNN是用于移植適配算法至CSK6芯片的工具，提供了視覺、語音相關的示例SDK，如果想在CSK6上移植適配自己的算法，可以參照這些示例： 開發(fā)板設計資料下載 大模型開發(fā)套件V2.0 硬件設計：https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel CSK6系芯片引腳功能表 V1.0：https://docs2.listenai.com/zz/3294.xlsx?shortId=nTn9kMMCU
附件大綱： 功能概述 ├──大模型示例SDK清單 ├──離線AI能力示例SDK清單 ├──LNN AI示例SDK清單 開發(fā)板硬件資源 開發(fā)板設計資料下載 開發(fā)板尺寸V2.0 開發(fā)板配件 ├──攝像頭模組 ├──攝像頭安裝 ├──觸摸屏模塊 ├──觸摸屏安裝 ├──網(wǎng)絡模組 更多使用說明 ├──供電 ├──DAPLink UsB口的使用 開發(fā)環(huán)境
| 
