Neural Network - 音频分类

材料准备

• AmebaPro2 [ AMB82 MINI ] x 1

范例说明

介绍

在本例中，我们将使用 Ameba Pro2 开发板来检测 521 种不同类型的音频，例如语音、动物声音、警报等等。

流程

在“File”->“Examples”->“AmebaNN”->“AudioClassification”中打开音频分类范例。

使用以黄色标记的 modelSelect() 函式选择Neural Network (NN) 工作和模型。该函式有 5 个参数：Neural Network工作、物体侦测模型、人脸侦测模型、人脸辨识模型和音频分类模型。如果您选择的Neural Network工作不需要它们，请替换为“NA_MODEL”。请注意，必须在调用 begin() 之前调用 modelSelect()。

有效的Neural Network: OBJECT_DETECTION, FACE_DETECTION, FACE_RECOGNITION, AUDIO_CLASSIFICATION
有效的物体侦测模型:
YOLOv3 模型: DEFAULT_YOLOV3TINY, CUSTOMIZED_YOLOV3TINY
YOLOv4 模型: DEFAULT_YOLOV4TINY, CUSTOMIZED_YOLOV4TINY
YOLOv7 模型: DEFAULT_YOLOV7TINY, CUSTOMIZED_YOLOV7TINY
有效的人脸侦测模型: DEFAULT_SCRFD, CUSTOMIZED_SCRFD
有效的人脸辨识模型: DEFAULT_MOBILEFACENET, CUSTOMIZED_MOBILEFACENET
有效的音频分类模型: DEFAULT_YAMNET, CUSTOMIZED_YAMNET

如果您想使用自己的 NN 模型，请选择自定义选项（例如，CUSTOMIZED_YOLOV4TINY/ CUSTOMIZED_SCRFD/ CUSTOMIZED_MOBILEFACENET/ CUSTOMIZED_YAMNET）。要了解转换 AI 模型的过程，请参阅此处。此外，请参阅此处以了解如何安装和使用转换后的模型。

编译代码并将其上传到Ameba。按下重置按钮后，板载麦克风将开始录制音频。
当没有检测到音频时，它将被识别为Serial Monitor中显示的“Silence”类别。

当板载麦克风录制警报等音频时，识别后结果将显示在Serial monitor中。

默认的预先训练模型总共可以识别 521 种不同类型的音频。音频可以在 AudioClassList.h 中找到。每个音频类别的索引号（也称为class ID）是固定的，不应更改。要停用某些音频的识别，请将filter设置为 0。例如，将filter设置为 0 以排除检测语音。