2024 年全国大学生物联网设计竞赛

本届赛题指定主控芯片为 ESP32-S3，该芯片集成 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE) ，搭载 Xtensa® 32 位 LX7 双核处理器，支持 AI 加速，能够实现高性能的图像识别、语音唤醒和识别、HMI 触摸屏等应用。

乐鑫为本次大赛提供软硬件一体的开发资源。硬件上，每个参赛队伍可以在以下 4 组开发套件中选择 1 组进行开发，大赛主办方将为参赛队伍免费寄送硬件开发套件。软件上，乐鑫提供开源的操作系统和软件资源，访问 GitHub 链接即可使用相应 SDK。

重要提示：

• 乐鑫开发套件申领采取限量寄送模式，每组开发套件上标明了限量数，领完即止。
• 如果您需要的开发套件已被领完，或您需要更多的乐鑫开发板、模组完成作品，可以前往“乐鑫科技 Espressif Online”官方淘宝店铺选购。

2.1 硬件资源（4 选 1）

2.2 开发环境

ESP-IDF 是乐鑫官方的物联网开发框架，它基于 C/C++ 语言提供了一个自给自足的 SDK，方便用户开发通用应用程序。ESP-IDF 集成了大量的软件组件，拥有丰富的文档和示例资源。点此观看 ESP-IDF 开发入门视频教程。

• 对于 ESP32-S3-BOX3/3B 推荐使用 ESP-IDF v5.1
• 对于 ESP32-S3-LCD-EV-BOARD 推荐使用 ESP-IDF v5.1
• 对于 ESP32-S3-USB-OTG 推荐使用 ESP-IDF v4.4 或 v5.1
• 对于 ESP32-S3-DevKitC 推荐使用 ESP-IDF v5.1 或 v5.2

重要提示：

• 极狐镜像：为了解决国内开发者从 GitHub 克隆仓库慢的问题，我们已将 ESP-IDF 和部分重要仓库及其关联的子模块镜像到了极狐仓库，这些仓库将自动从 GitHub 原始仓库同步。
• 除 ESP-IDF 以外，ESP32-S3 还支持 Arduino（搭建教程）等开发环境。同学们可以自行选择使用。
• 下面 2.3 节中列明的软件资源需基于 ESP-IDF 使用，仅部分软件资源支持第三方开发环境，例如 ESP RainMaker、ESP-NOW。

2.3 软件资源

2.3.1 ESP-IoT-Solution

ESP-IoT-Solution 包含物联网系统开发中常用的外设驱动和代码框架，可作为 ESP-IDF 的补充组件，方便用户实现更简单的开发。我们重点推荐同学们关注图形界面、音频设备、输入设备、传感器集中的内容。

2.3.2 语音识别开发框架 ESP-SR

ESP-SR 是乐鑫开发的语音识别框架，可基于 ESP32-S3 AI 扩展指令实现高性能的语音识别，点此阅读 ESP-SR 新手入门、ESP-SR 用户指南。ESP-SR 包含三个模块，分别是声学前端算法 (AFE)、语音唤醒引擎 WakeNet、可实现离线多命令词识别的轻量级模型 MultiNet。

重要提示：
如果您需要在 ESP32-S3-LCD-EV-BOARD 上使用 ESP-SR，请先进行适配。

2.3.3 深度学习开发库 ESP-DL

乐鑫深度学习开发库 ESP-DL 为神经网络推理、图像处理、数学运算以及一些深度学习模型提供 API，通过 ESP-DL 能够便捷地将 ESP32-S3 用于人工智能应用。ESP-DL 在模型库中提供了一些模型的 API，如人脸检测、人脸识别、猫脸检测等。如果您想要定制模型，请参考定制模型的步骤介绍。

TensorFlow 是一个端到端开源机器学习平台，其中包含各种工具、库和社区资源。此 GitHub 仓库提供了丰富的 TensorFlow 示例资源，包括魔棒（通过加速度传感器识别运动中的手势）、微型麦克风（语音数据中识别关键词）、人脸识别（识别图像中的人像）。您可以直接使用这些示例，也可以定制您自己的 AI 模型。

2.3.4 图像识别应用框架 ESP-WHO

乐鑫 AI 开发框架 ESP-WHO 提供人脸识别、猫脸检测、运动检测等示例。您可以基于这些示例，衍生出丰富的实际应用。

ESP-WHO 的运行基于 ESP-IDF，并支持丰富的外设，包括摄像头、Wi-Fi、LCD、LED、按键等。 ESP-DL 为 ESP-WHO 提供了丰富的深度学习相关接口，配合各种外设可以实现许多有趣的应用。

2.3.5 一站式云平台 ESP RainMaker

ESP RainMaker 是一个完整的 AIoT 云平台，它可以作为一个端到端的平台，为开发者提供一站式的物联网产品功能和示例，如设备分配、云连接和 OTA 升级等。

2.3.6 无线通讯协议 ESP-NOW

ESP-NOW 是乐鑫定义的基于数据链路层的无线通信协议，无需路由器即可实现单对多、多对多设备连接和控制，在空旷环境中可实现 200 m+ 的通信距离。ESP-NOW 支持和 Wi-Fi 与 Bluetooth LE 共存，可应用于远程控制、传感器等领域。

2.3.7 智能人体感知检测技术 ESP-CSI

ESP-CSI 利用 Wi-Fi 信号就能实现人体检测和动作识别，无需传感器。ESP-CSI 提供了比传统的信号强度（RSSI）更详细、更丰富的信道信息，包括信号的振幅、相位等。这些详细数据可用于支持各种高级应用，如室内定位、环境监测和人体感知。

2.3.8 ESP-IDF 组件管理工具 ESP Registry

ESP Registry 集合了丰富的开源组件，您可以通过关键词检索，将这些组件添加到 ESP-IDF 中使用。例如，您可以在搜索框中输入 LVGL、Button、ESP-SR、ESP-NOW、ESP32-S3-LCD-EV-BOARD（搜索开发板名称以获得板级支持包）、LED Strip (ws2812)、LED Indicator 等关键词，即可以获取相关资源。

4.1 官方答疑支持

如果同学们在应用开发的过程中遇到了一些问题，希望获得技术支持，您可以：

• 查阅常见问题总结 ESP-FAQ
• 在相关项目的 GitHub 页面提出新的 issue
• 前往乐鑫官方 ESP32 论坛的大赛专区发帖提问
• 乐鑫官方将为本次赛事设立专门的答疑群，供参赛选手与乐鑫工程师以及其他选手进行交流和讨论

4.2 实习就业支持

对于在本次大赛中表现突出的同学，乐鑫将提供在上海研发中心的实习机会，以及校招绿色通道的支持。