K230 AI Demo介绍#
K230 AI Demo#
概述#
K230 AI Demo集成了人脸、人体、手部、车牌、单词续写、语音、dms等模块，包含了分类、检测、分割、识别、跟踪、单目测距等多种功能，给客户提供如何使用K230开发AI相关应用的参考。
硬件环境#
CanMV-K230-V1.x / CanMV-K230-V2.x / K230-UNSIP-LPx-EVB-V1.x
源码位置#
源码路径位于k230_sdk/src/reference/ai_poc，目录结构如下：
# AI Demo子目录（eg：bytetrack、face_detection等）中有详细的Demo说明文档
.
├── anomaly_det
├── build_app.sh
├── bytetrack
├── cmake
├── CMakeLists.txt
├── crosswalk_detect
├── dec_ai_enc
├── demo_mix
├── distraction_reminder
├── dms_system
├── dynamic_gesture
├── eye_gaze
├── face_alignment
├── face_detection
├── face_emotion
├── face_gender
├── face_glasses
├── face_landmark
├── face_mask
├── face_mesh
├── face_parse
├── face_pose
├── face_verification
├── falldown_detect
├── finger_guessing
├── fitness
├── head_detection
├── helmet_detect
├── kws
├── licence_det
├── licence_det_rec
├── llamac
├── nanotracker
├── object_detect_yolov8n
├── ocr
├── person_attr
├── person_detect
├── person_distance
├── pose_detect
├── pose_det_rtsp_plug
├── pphumanseg
├── puzzle_game
├── segment_yolov8n
├── self_learning
├── shell
├── smoke_detect
├── space_resize
├── sq_hand_det
├── sq_handkp_class
├── sq_handkp_det
├── sq_handkp_flower
├── sq_handkp_ocr
├── sq_handreco
├── traffic_light_detect
├── translate_en_ch
├── tts_zh
├── vehicle_attr
├── virtual_keyboard
└── yolop_lane_seg
kmodel、image及相关依赖路径位于k230_sdk/src/big/kmodel/ai_poc，目录结构如下：
.
├── images
│ ├── 000.png
│ ├── 1000.jpg
│ ├── 1024x1111.jpg
│ ├── 1024x1331.jpg
│ ├── 1024x624.jpg
│ ├── 1024x768.jpg
│ ├── 333.jpg
│ ├── 640x340.jpg
│ ├── bus.jpg
│ ├── bytetrack_data
│ ├── car.jpg
│ ├── cw.jpg
│ ├── falldown_elder.jpg
│ ├── helmet.jpg
│ ├── hrnet_demo.jpg
│ ├── identification_card.png
│ ├── input_flower.jpg
│ ├── input_hd.jpg
│ ├── input_ocr.jpg
│ ├── input_pd.jpg
│ ├── licence.jpg
│ ├── person.png
│ ├── road.jpg
│ ├── smoke1.jpg
│ └── traffic.jpg
├── kmodel
│ ├── anomaly_det.kmodel
│ ├── bytetrack_yolov5n.kmodel
│ ├── cropped_test127.kmodel
│ ├── crosswalk.kmodel
│ ├── eye_gaze.kmodel
│ ├── face_alignment.kmodel
│ ├── face_alignment_post.kmodel
│ ├── face_detection_320.kmodel
│ ├── face_detection_640.kmodel
│ ├── face_detection_hwc.kmodel
│ ├── face_emotion.kmodel
│ ├── face_gender.kmodel
│ ├── face_glasses.kmodel
│ ├── face_landmark.kmodel
│ ├── face_mask.kmodel
│ ├── face_parse.kmodel
│ ├── face_pose.kmodel
│ ├── face_recognition.kmodel
│ ├── flower_rec.kmodel
│ ├── gesture.kmodel
│ ├── hand_det.kmodel
│ ├── handkp_det.kmodel
│ ├── hand_reco.kmodel
│ ├── head_detection.kmodel
│ ├── helmet.kmodel
│ ├── hifigan.kmodel
│ ├── human_seg_2023mar.kmodel
│ ├── kws.kmodel
│ ├── licence_reco.kmodel
│ ├── LPD_640.kmodel
│ ├── nanotrack_backbone_sim.kmodel
│ ├── nanotracker_head_calib_k230.kmodel
│ ├── ocr_det_int16.kmodel
│ ├── ocr_det.kmodel
│ ├── ocr_rec_int16.kmodel
│ ├── ocr_rec.kmodel
│ ├── person_attr_yolov5n.kmodel
│ ├── person_detect_yolov5n.kmodel
│ ├── person_pulc.kmodel
│ ├── recognition.kmodel
│ ├── traffic.kmodel
│ ├── translate_decoder.kmodel
│ ├── translate_encoder.kmodel
│ ├── vehicle_attr_yolov5n.kmodel
│ ├── vehicle.kmodel
│ ├── yolop.kmodel
│ ├── yolov5n-falldown.kmodel
│ ├── yolov5s_smoke_best.kmodel
│ ├── yolov8n_320.kmodel
│ ├── yolov8n_640.kmodel
│ ├── yolov8n-pose.kmodel
│ ├── yolov8n_seg_320.kmodel
│ ├── yolov8n_seg_640.kmodel
│ ├── zh_fastspeech_1_f32.kmodel
│ ├── zh_fastspeech_1.kmodel
│ └── zh_fastspeech_2.kmodel
└── utils
├── Asci0816.zf
├── bfm_tri.bin
├── bu.bin
├── dict_6625.txt
├── dict_ocr_16.txt
├── dict_ocr.txt
├── file
├── HZKf2424.hz
├── jiandao.bin
├── libsentencepiece.a
├── llama.bin
├── memory.bin
├── ncc_code.bin
├── pintu.bin
├── reply_wav
├── shang.bin
├── shitou.bin
├── tokenizer.bin
├── trans_src.model
├── trans_tag.model
├── wav_play.elf
├── xia.bin
├── you.bin
└── zuo.bin
编译及运行程序#
a.自编译上板镜像#
确保已根据k230 sdk官方说明构建docker容器，并构建镜像
进入k230_sdk/src/reference/ai_poc
执行build_app.sh脚本，会将kmodel、images、utils、shell、elf统一拷贝生成到k230_bin文件夹
将k230_bin整个文件夹拷贝到板子，在大核上执行sh脚本即可运行相应AI demo
（1）确保已根据k230 sdk官方说明构建docker容器并构建镜像
（2）进入k230_sdk/src/reference/ai_poc
cd k230_sdk/src/reference/ai_poc
（3）编译单个AI Demo（以人脸检测为例）
./build_app.sh face_detection
注：执行build_app.sh前，确保已经准备好依赖，即k230_sdk/src/big/kmodel/ai_poc下已经有相应kmodel、images、utils
#若是没有上述依赖，执行以下命令下载
cd k230_sdk
make prepare_sourcecode
生成以下文件：
k230_bin/
├── face_detection
│ ├── 1024x624.jpg
│ ├── face_detect_image.sh
│ ├── face_detection_320.kmodel
│ ├── face_detection_640.kmodel
│ ├── face_detection.elf
│ └── face_detect_isp.sh
将k230_bin/整个文件夹拷贝到板子，在大核上执行sh脚本即可运行相应AI demo
#进入开发板小核sharefs目录
scp -r username@ip:/xxx/k230_sdk/src/big/kmodel/ai_poc/k230_bin .
#进入开发板大核sharefs目录
cd /sharefs/k230_bin/face_detection
#执行相应脚本即可运行人脸检测
#详细人脸检测说明可以参考k230_sdk/src/reference/ai_poc/face_detection/README.md
./face_detect_isp.sh
（4）编译所有AI Demo（若只需编译某个demo，无需执行该步骤）
./build_app.sh
生成以下文件：
k230_bin/
......
├── face_detection
│ ├── 1024x624.jpg
│ ├── face_detect_image.sh
│ ├── face_detection_320.kmodel
│ ├── face_detection_640.kmodel
│ ├── face_detection.elf
│ └── face_detect_isp.sh
......
└── llamac
├── llama.bin
├── llama_build.sh
├── llama_run
└── tokenizer.bin
......
（5）对于01studio开发板，支持编译hdmi显示和lcd显示的aidemo，编译命令如下：
./build_app.sh face_detection hdmi
./build_app.sh face_detection lcd
上述命令会生成单个demo不同显示模式下的编译产物。如果想编译全部的AI Demo，编译命令如下：
./build_app.sh all hdmi
./build_app.sh all lcd
上述命令会按照指定的显示模式编译所有的AI Demo。hdmi生成的编译产物位于k230_bin目录下，lcd显示模式下生成的编译产物位于k230_bin_lcd目录下。
将k230_bin/整个文件夹拷贝到板子，在大核上执行sh脚本即可运行相应AI demo
#进入小核sharefs目录
scp -r username@ip:/xxx/k230_sdk/src/big/kmodel/ai_poc/k230_bin .
#进入大核sharefs目录
cd /sharefs/k230_bin/face_detection
#执行相应脚本即可运行人脸检测
#详细人脸检测说明可以参考k230_sdk/src/reference/ai_poc/face_detection/README.md
./face_detect_isp.sh
b.直接下载官网上板镜像#
（1）确保已根据k230 sdk官方说明构建docker容器
（2）从官网资源库下载镜像
（3）环境准备
cd k230_sdk
make prepare_sourcecode #（若之前已执行，请忽略）
make mpp
make cdk-user
#根据使用的开发板型号，分别执行不同的命令
#若是型号是CanMV-K230-V1.x，执行以下命令
make CONF=k230_canmv_defconfig prepare_memory
#若是型号是CanMV-K230-V2.x，执行以下命令
make CONF=k230_canmv_v2_defconfig prepare_memory
#若是型号是K230-xxx-xxx-EVB-V1.x，执行以下命令
make CONF=k230_evb_defconfig prepare_memory
cd k230_sdk/src/reference/ai_poc
（4）编译单个AI Demo（以人脸检测为例）
./build_app.sh face_detection
注：执行build_app.sh前，确保已经准备好依赖，即k230_sdk/src/big/kmodel/ai_poc下已经有相应kmodel、images、utils
#若是没有上述依赖，执行以下命令下载
cd k230_sdk
make prepare_sourcecode
生成以下文件：
k230_bin/
├── face_detection
│ ├── 1024x624.jpg
│ ├── face_detect_image.sh
│ ├── face_detection_320.kmodel
│ ├── face_detection_640.kmodel
│ ├── face_detection.elf
│ └── face_detect_isp.sh
将k230_bin整个文件夹拷贝到板子，在大核上执行sh脚本即可运行相应AI demo
#进入开发板小核sharefs目录
scp -r username@ip:/xxx/k230_sdk/src/big/kmodel/ai_poc/k230_bin .
#进入开发板大核sharefs目录
cd /sharefs/k230_bin/face_detection
#执行相应脚本即可运行人脸检测
#详细人脸检测说明可以参考k230_sdk/src/reference/ai_poc/face_detection/README.md
./face_detect_isp.sh
（5）编译所有AI Demo（若只需编译某个demo，无需执行该步骤）
./build_app.sh
生成以下文件：
k230_bin/
......
├── face_detection
│ ├── 1024x624.jpg
│ ├── face_detect_image.sh
│ ├── face_detection_320.kmodel
│ ├── face_detection_640.kmodel
│ ├── face_detection.elf
│ └── face_detect_isp.sh
......
└── llamac
├── llama.bin
├── llama_build.sh
├── llama_run
└── tokenizer.bin
......
将k230_bin整个文件夹拷贝到板子，在大核上执行sh脚本即可运行相应AI demo
#进入小核sharefs目录
scp -r username@ip:/xxx/k230_sdk/src/big/kmodel/ai_poc/k230_bin .
#进入大核sharefs目录
cd /sharefs/k230_bin/face_detection
#执行相应脚本即可运行人脸检测
#详细人脸检测说明可以参考k230_sdk/src/reference/ai_poc/face_detection/README.md
./face_detect_isp.sh