中文
在这篇特邀文章中，我们的合作伙伴索尼公司的雷蒙娜-雷纳（Ramona Rayner）将向您展示如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi 人工智能相机的基础上轻松构建应用程序。最近推出的 Raspberry Pi AI Camera 是一款功能强大的硬件，可让您在 Raspberry Pi 上构建功能强大的 AI 应用程序。通过将人工智能推理卸载到 IMX500 加速器芯片上，可以利用更多的计算资源来处理边缘应用逻辑！我们很想知道您将创造出什么，也很想为您提供更多的工具。这篇文章将介绍如何快速探索不同的模型和人工智能功能，以及如何在 Raspberry Pi AI Camera 的基础上轻松构建应用程序。
如果您没有机会阅读入门指南，请务必先查看该指南，以确认您的 AI 相机设置正确。
入门指南 : https://www.raspberrypi.com/documentation/accessories/ai-camera.html#getting-started
探索训练前的模型
开始探索 Raspberry Pi 人工智能相机可能性的一个好方法是试用 IMX500 Model Zoo 中的一些预训练模型。为了简化探索过程，可以考虑使用图形用户界面工具（GUI Tool），该工具旨在快速上传不同的模型，并查看 AI 摄像机上的实时推理结果。
IMX500 Model Zoo : https://github.com/raspberrypi/imx500-models
GUI Tool : https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool
要启动图形用户界面工具，请确保已安装 Node.js。(通过在终端运行 node --version 验证 Node.js 是否已安装），并在软件源的根目录下运行以下命令来构建和运行该工具：https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-app-gui-tool
make build./dist/run.sh图形用户界面工具可通过 http://127.0.0.1:3001 访问。查看模型操作
- 点击界面右上角的 ADD（添加）按钮添加自定义模型。
- 提供添加自定义网络所需的详细信息，并上传 network.rpk 文件和（可选）labels.txt 文件。
- 选择模型并导航至 “相机预览 ”以查看模型的运行情况！
以下是 IMX500 Model Zoo 中的几款机型：
| Network Name | Network Type | Post Processor | Color Format | Preserve Aspect Ratio | Network File | Labels File |
|---|---|---|---|---|---|---|
| mobilenet_v2 | packaged | Classification | RGB | True | network.rpk | imagenet_labels.txt |
| efficientdet_lite0_pp | packaged | Object Detection (EfficientDet Lite0) | RGB | True | network.rpk | coco_labels.txt |
| deeplabv3plus | packaged | Segmentation | RGB | False | network.rpk | – |
| posenet | packaged | Pose Estimation | RGB | False | network.rpk | – |
下载地址：
mobilenet_v2, network.rpk: https://raw.githubusercontent.com/raspberrypi/imx500-models/main/imx500_network_mobilenet_v2.rpk
mobilenet_v2, imagenet_labels.txt: https://github.com/pytorch/hub/blob/master/imagenet_classes.txt
efficientdet_lite0_pp, network.rpk: https://raw.githubusercontent.com/raspberrypi/imx500-models/main/imx500_network_efficientdet_lite0_pp.rpk
efficientdet_lite0_pp, imagenet_labels.txt: https://github.com/amikelive/coco-labels/blob/master/coco-labels-paper.txt
deeplabv3plus, network.rpk: https://raw.githubusercontent.com/raspberrypi/imx500-models/main/imx500_network_deeplabv3plus.rpk
posenet, network.rpk: https://raw.githubusercontent.com/raspberrypi/imx500-models/main/imx500_network_posenet.rpk
探索不同的型号可以让您深入了解摄像机的功能，并确定最适合您要求的型号。当您认为已经找到合适的型号时，就可以构建应用程序了。
建立应用
当模型推理在 IMX500 上进行时，Raspberry Pi 上有足够的 CPU 来运行应用程序。为了演示这一点，我们将运行一个锻炼监测示例应用程序。
锻炼监测示例应用程序: https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-apps/tree/main/examples/workout-monitor
其目的是通过检测和跟踪进行引体向上、俯卧撑、腹肌锻炼和深蹲等常见锻炼的人，实时计算锻炼次数。该应用程序将计算框架中每个人的重复次数，确保多人可以同时锻炼和竞争，同时获得自动重复次数计算。
要运行该示例，请克隆示例应用程序资源库，并确保从 Raspberry Pi IMX500 Model Zoo 下载 HigherHRNet 模型。
示例应用程序资源: https://github.com/SonySemiconductorSolutions/aitrios-rpi-sample-apps
HigherHRNet 模型: https://raw.githubusercontent.com/raspberrypi/imx500-models/main/imx500_network_higherhrnet_coco.rpk
确保您有带 Qt 的 OpenCV 可用：
sudo apt install python3-opencv并从存储库的根目录运行：
python3 -m venv venv --system-site-packages
source venv/bin/activate
cd examples/workout-monitor/
pip install -e .在练习之间切换非常简单，只需提供相应的练习参数，如引体向上、俯卧撑、腹肌锻炼或深蹲。
workout-monitor --model
/path/to/imx500_network_higherhrnet_coco.rpk
--exercise pullup模型后处理，将模型输出张量解释为边界框和骨架关键点
- 跟踪器模块（ByteTrack）用于给检测到的人一个唯一的 ID，以便计算每个人的运动次数
- 匹配器模块，通过匹配各帧中的人物来提高追踪结果的准确性，从而避免丢失他们的 ID
- CV2 可视化功能，可将检测结果可视化，并查看应用程序的结果
所有这些都是在边缘实时完成的，而 IMX500 则负责人工智能推理！
现在，你和人工智能摄像机都在测试对方的极限。你能做多少个引体向上？
原文链接： https://www.raspberrypi.com/news/bringing-real-time-edge-ai-applications-to-developers/
