|
|
|
大模型開發板除了語音交互之外，還配套有大模型拍照識圖和坐姿檢測、人臉識別、活體識別、頭肩跟隨、手勢識別、物體分類等七個線視覺識別方面的交互示例等。 聯網使用 | 大模型圖片分析+拍照 | 離線識別 | 坐姿檢測、人臉識別、活體識別、頭肩跟隨、手勢識別、物體分類 |
SDK功能● 語音交互：支持按鍵錄音或喚醒后通過語音與大模型進行對話 ● 拍照識圖：支持通過攝像頭拍攝圖像并上傳給大模型進行識別，支持依據識圖內容進行提問 ● 圖片生成：支持通過語音交互描述畫面內容，令大模型生成圖片并顯示至套件屏幕上 拍照識圖在待機頁，點擊拍照按鈕即可進入取景頁面，對準要拍照的物體，點擊右側中間的拍照鍵完成抓拍，確認畫面抓拍正常后（無晃動模糊的情況），點擊右側的 √ 進行提交識別。 2、 坐姿檢測SDK
算法簡介CSK6 大模型開發套件可檢測圖像中人物的坐姿情況，并對各種不良的坐姿進行識別，當畫面中有坐姿信息時，顯示屏上將實時對人物的關鍵骨骼點進行標注并顯示該人物的包含手、身體狀態在內的坐姿檢測結果，結果包含一下內容： ● 手狀態：正常/下垂/撐臉 ● 身體狀態：正常/趴桌/傾斜/駝背/離席 CSK6 芯片支持運行 坐姿檢測 AI算法，具備以下特性： ● 硬件上僅需配合 30W 像素鏡頭模組，性價比出色 ● 純離線運行算法，無需聯網，保障隱私 ● 檢測準確率 ＞ 97%，響應時間 ＜ 18ms ● 識別距離：推薦 40cm ~ 60cm, 建議不超過 110cm 3、 人臉識別SDK
人臉識別算法簡介人臉識別 算法具備以下特性： ● 支持檢測圖像中人臉信息，選取畫面中分值最高的人臉，返回人臉邊界框、人臉標定點、頭部姿態角度、人臉識別特征等 ● 人臉標定點支持68個關鍵點檢測 ● 頭部姿態角度支持pitch、roll、yaw三個角度 ● 支持特征比較：將檢測到的人臉特征值和本地存儲的人臉特征值輸入算法進行比對， 并返回比對結果 應用場景離線人臉識別適用于網絡條件不穩定、無網、數據安全性要求高、人臉庫較小（20人以下）單臺設備的人臉識別場景。常見于人臉門禁、小型企業考勤機、自助終端設備等。 算法效果指標數據
識別效果在1m距離內，測試特征底庫10個，人臉識別效果分別為： 人臉標定 | 平均誤差(NME)約為0.04 | 頭部姿態 | 模型預測平均偏差約為±3° | 全流程耗時 | 100ms以內 |
人臉識別示例工程的使用調用人臉識別算法，可以通過開發板上的按鍵操作進行人臉注冊、臉識別，并通過圖像預覽工具查看攝像頭的畫面與輸出結果。 固件功能說明程序運行后，默認會在屏幕上顯示實時的攝像頭畫面并在畫面中使用方框實時標注出人臉，并通過方框的顏色指示不同的識別狀態。 可以按照以下流程進行人臉識別功能的使用： ● Step1：檢測到人臉 (屏幕顯示黃色框 / 開發板LED亮黃色) ● Step2：按K1按鍵注冊當前人臉特征 (屏幕 registered參數增加1 /開發板LED閃爍藍色) ● Step3：按K2對當前人臉進行識別比對 ○ 識別通過：屏幕顯示綠色框 / 開發板LED亮綠色 ○ 識別未通過：屏幕顯示紅色框 / 開發板LED亮紅色 LED指示狀態● 黃色：檢測到人臉 ● 綠色：人臉特征比對通過 ● 紅色：人臉特征比對未通過 按鍵功能● K1：錄入當前檢測到的人臉特征 ● K2：將當然的人臉特征與之前錄入的特征進行比較 ● K3：開關攝像頭紅外補光燈(安裝紅外攝像頭時) 4、 活體識別
功能說明需要搭配帶補光燈的紅外攝像頭，結合人臉識別算法，實現對活體的檢測。 程序運行后，默認會在屏幕上顯示實時的攝像頭畫面并在畫面中使用方框實時標注出人臉，并通過方框的顏色指示不同的識別狀態。 1.注冊人臉當LED為黃色時(檢測到人臉)，按動K1按鍵，此時將會錄入當前檢測到的人臉特征，錄入成功后，可看到屏幕上顯示的registered 數量增加1，說明本次錄入已完成并加入人臉特征庫。 2.比對人臉當LED為黃色時(檢測到人臉)，按動K2按鍵，此時固件會將當前攝像頭前檢測到的人臉與已錄入的人臉特征進行比對，若對比成功(命中已錄入的人臉特征)，屏幕中圈中人臉的框將變為綠色，同時開發板上的LED顏色將變為綠色，表示人臉特征比對通過，并在屏幕上顯示匹配的人臉特征序號(id)與評分(score)。 若比對不通過，即當前人臉未在人臉特征庫中錄入過，屏幕中圈中人臉的框將變為紅色，同時開發板上的LED顏色將變為紅色，表示人臉特征比對通過。 3.串口日志的查看本示例同樣支持串口日志的打印，可通過連接開發板上的DAP_USB 并使用串口工具打開對應的串口設備進行日志查看，默認波特率 115200，伴隨著 人臉錄入、人臉比對等操作，可看到日志串口有對應的結果輸出。 5、頭肩跟隨+手勢識別SDK
頭肩跟隨頭肩算法介紹檢測圖像中所有人體的頭肩位置，返回每個頭肩的唯一id、位置坐標、檢測得分等； ● 通過攝像頭實時獲取圖像并在屏幕上進行預覽顯示 ● 在屏幕展示的畫面中標注頭肩檢測和手勢識別的結果與評分 手勢識別通過頭肩檢測識別用戶的手勢，返回當前目標的手勢、得分等； 支持5種手勢，分別為LIKE(👍)、OK(👌)、STOP(🤚)、YES(✌️)、SIX(🤙)； 應用場景
跟拍云臺在直播、視頻通話場景，通過云臺實現人體追蹤，讓手機一直正面朝向用戶進行錄像。并且可以通過手勢開啟、停止追蹤。 算法參數
（1）識別效果為了讓用戶在常用的交互距離取得比較好的識別效果，我們建議頭肩跟蹤跟手勢識別最短交互距離為0.5m，最佳交互距分別為3.5m/3m，所對應的識別效果如下： 識別能力 | 最佳交互距離 | 識別率 | 虛警率 | 頭肩跟蹤 | 3.5m | 95% | 5% | 手勢識別 | 3m | 91% | 5% |
以下是分別在單人和多人場景下的幀率： 場景 | 識別能力 | 幀率 | 單人 | 頭肩追蹤、手勢識別 | 15FPS | 多人 | 頭肩追蹤、手勢識別 | 10FPS |
算法簡介CSK6 大模型開發套件可通過攝像頭抓拍畫面并對該畫面進行物體分類識別，支持包括蘋果、床、鍵盤等100+種物體的識別。通過觸摸屏可進行取景與抓拍控制，完成拍照后將自動識別并在屏幕上顯示識別結果。 本模型支持以下物體的分類識別：
"apple", "aquarium_fish", "baby", "bear", "beaver", "bed",
"bee", "beetle", "bicycle", "bottle", "bowl", "boy",
"bridge", "bus", "butterfly", "camel", "can", "castle",
"caterpillar", "cattle", "chair", "chimpanzee", "clock", "cloud",
"cockroach", "couch", "crab", "crocodile", "cup", "dinosaur",
"dolphin", "elephant", "flatfish", "forest", "fox", "girl",
"hamster", "house", "kangaroo", "keyboard", "lamp", "lawn_mower",
"leopard", "lion", "lizard", "lobster", "man", "maple_tree",
"motorcycle", "mountain", "mouse", "mushroom", "oak_tree", "orange",
"orchid", "otter", "palm_tree", "pear", "pickup_truck", "pine_tree",
"plain", "plate", "poppy", "porcupine", "possum", "rabbit",
"raccoon", "ray", "road", "rocket", "rose", "sea",
"seal", "shark", "shrew", "skunk", "skyscraper", "snail",
"snake", "spider", "squirrel", "streetcar", "sunflower", "sweet_pepper",
"table", "tank", "telephone", "television", "tiger", "tractor",
"train", "trout", "tulip", "turtle", "wardrobe", "whale",
"willow_tree", "wolf", "woman", "worm"
本示例基于開源項目進行移植適配，僅用于 CV 能力的驗證與評估，不代表適用于商用項目。
功能實現● 點擊屏幕 翻轉 按鈕，可實現對攝像頭的影像預覽翻轉，可根據攝像頭是否安裝在開發板背面進行切換 ● 點擊屏幕 TAKE 按鈕，可對當面畫面進行拍照并識別 SDK資源下載● 坐姿檢測： apps目錄下，工程目錄名稱為 lcd_spd ● 人臉識別： apps目錄下，工程目錄名稱為 fd ● 活體識別： apps目錄下，工程目錄名稱為 fdh ● 頭肩跟隨+手勢識別： apps目錄下，工程目錄名稱為 hsd ● 物體分類： apps目錄下，工程目錄名稱為 resnet18 已打包好的DEMO固件下載： 補充開發板信息
|
|
QQ好友和群
QQ空間
騰訊微博
騰訊朋友
收藏
淘帖
頂
踩
