赛题背景

在全球万物智联的时代背景下，边缘计算将发挥人工智能 (AI) 在物联网领域的无限潜能。过去，物联网设备端产生的数据难以在本地处理，需要上传至云端或数据中心分析，因而存在较高的数据延迟，并产生较大的带宽压力。现在，边缘计算能够将 AI 的强大能力直接应用在设备端，带来低延迟、高安全性、低成本等优势。依托边缘计算，AI 将释放物联网万花筒般的应用前景，例如语音识别、人脸识别、机器视觉、工业控制、智慧医疗、智慧农业等。

乐鑫科技性能卓越的 AI SoC ESP32-S3 集成 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE) ，搭载 Xtensa® 32 位 LX7 双核处理器，并支持 AI 加速。ESP32-S3 专为 AIoT 打造，其强劲的 AI 算力能够实现高性能的图像识别、语音唤醒和识别等应用，并支持市场上的主流云平台。ESP32-S3 沿用乐鑫成熟的开源物联网开发框架 ESP-IDF，拥有丰富的软件 SDK，能够支持面向物联网的 AI 应用开发。

赛题任务

赛题阐述

请参赛队伍基于乐鑫 ESP32-S3 开发套件以及软件开发框架，通过运用深度学习、机器学习等边缘 AI 技术，开发具有实际意义的应用项目，解决过去因边缘 AI 部署不足造成的应用痛点。

这里，我们为参赛队伍提供一些应用拓展供参考。您可以基于以下方向破题，也可以自选感兴趣的应用方向开发。

通过边缘 AI 和 Wi-Fi/蓝牙连接的结合，ESP32-S3 可赋能丰富的 AI 应用，例如：

拓展阅读：迎接元宇宙的曙光

元宇宙的概念在 2021 年大踏步进入大众视野，物联网和 AI 技术作为支持元宇宙的核心基础设施，将迎来光明的应用前景。试想，在元宇宙中，成熟的无线通信省去了有线传输的麻烦，Wi-Fi 体态检测技术大幅减少了待测者身上需装配的设备，丰富的语音交互可以在物体间轻松传递指令和信息，身边的物体在图像识别的基础上融入多彩的虚拟元素……未来十年，将是元宇宙起步的探索阶段。同学们当下的奇思妙想，很可能成为元宇宙的应用雏形。

开发资源

乐鑫为本次大赛提供软硬件一体的开发资源，每个参赛队伍可以在以下三组开发套件中选择一组用于应用开发。每组开发套件对应列明了推荐的软件资源，访问对应的 GitHub 链接即可了解乐鑫的开源 SDK。您可以在已有示例的基础上进行二次开发，快速开发项目原型，也可以基于 SDK 实现创新开发，参与从模型训练到设备端部署整个过程，深入了解边缘 AI 底层技术。

注：开发套件申领采取限量寄送模式，每组开发套件上标明了限量数，领完即止，建议参赛队伍尽早申请。

ESP32-S3-BOX AI 语音开发套件（限量 60 组）

推荐用途

ESP32-S3-BOX 是一款 AI 语音开发套件，能够实现离在线语音唤醒和命令词识别，支持乐鑫高性能声学前端算法构建语音交互系统，推荐用于开发智能语音设备、HMI 触摸屏设备、多协议网关等多样的应用。

硬件介绍

ESP32-S3-BOX 搭载 ESP32-S3 Wi-Fi + Bluetooth 5 (LE) SoC、 2.4 寸 LCD 电容式触摸屏、双麦克风、一个扬声器、两个用于硬件拓展的 PmodTM 兼容接口。

软件资源

ESP-BOX 开发框架包括三层：系统层 (ESP-IDF)、解决方案框架层（ESP-SR, ESP-HMI, ESP RainMaker 等）和应用层。每一层中列明了对应的 SDK，SDK 中提供了丰富的示例资源，您可以基于这些示例，衍生出多样的应用。接下来，我们将为您简要介绍系统层和解决方案框架层。

系统层：乐鑫物联网开发框架 ESP-IDF
ESP-IDF 是乐鑫官方的开发框架，推荐竞赛使用。ESP-IDF 详细介绍请见本节“延伸阅读”。

推荐用途

解决方案框架层

ESP-BOX 简介 ESP-BOX 代码仓库 ESP-BOX 开发框架 ESP-BOX 使用指南

ESP32-S3-EYE 开发板（限量 60 套已申领完毕）

温馨提示：60 套 ESP32-S3-EYE 开发板已于 6 月 20 日申领完毕，敬请 6 月 21 日及以后报名的同学选择其他乐鑫开发板参加比赛

推荐用途

ESP32-S3-EYE 是一款小型人工智能开发板，推荐用于图像识别和音频处理等应用。

硬件介绍

ESP32-S3-EYE 搭载 ESP32-S3 芯片，配置了一个两百万像素的摄像头、一个 LCD 显示屏和一个麦克风。板上配有 8 MB 八线 PSRAM 和 8 MB flash，具有充足的存储空间。此外，开发板上的 ESP32-S3 芯片还提供了 Wi-Fi 图传和 USB 端口调试等功能。

软件资源

ESP32-S3-EYE 搭载乐鑫 AI 开发框架 ESP-WHO， 提供例如人脸识别、猫脸检测、运动检测等示例。 您可以基于这些示例，衍生出丰富的实际应用。

ESP-WHO 的运行基于 ESP-IDF，并支持丰富的外设，包括摄像头、Wi-Fi、LCD、LED、按键等。 ESP-DL 为 ESP-WHO 提供了丰富的深度学习相关接口，配合各种外设可以实现许多有趣的应用。

ESP-WHO 代码仓库 ESP-DL 代码仓库

ESP32-S3-DevKitC-1 开发板 （限量 60 套）

推荐用途

ESP32-S3-DevKitC-1 是乐鑫推出的一款基础开发板，推荐用于结合 Wi-Fi 和/或传感器开发应用，例如定位和跟踪、体态检测、手势识别、环境温湿度测量、运动类型识别等。

硬件介绍

ESP32-S3-DevKitC-1 板上模组大部分管脚均已引出至两侧排针，并支持外接传感器。您可根据实际需求，轻松通过跳线连接多种外围设备，也可将开发板插在面包板上使用。

软件资源

ESP32-S3-DevKitC-1 的开发资源包括乐鑫物联网开发框架 ESP-IDF，乐鑫深度学习开发库 ESP-DL， 以及开源的 AI 平台，如 TensorFlow。 您可以使用开源 AI 平台已有的示例资源，或自行定制 AI 模型运行在此开发板上。通过 ESP-DL 为深度学习模型提供的 API ，您还可以实现 AI 应用加速。接下来，我们将为您简要介绍以 TensorFlow 为例的开源 AI 平台和 ESP-DL。

TensorFlow

TensorFlow 是一个端到端开源机器学习平台，其中包含各种工具、库和社区资源。此 GitHub 链接提供了丰富的 TensorFlow 示例资源，包括魔棒（通过加速度传感器识别运动中的手势）、微型麦克风（语音数据中识别关键词）、人脸识别（识别图像中的人像）。您可以直接使用这些示例，也可以定制您自己的 AI 模型。

ESP-DL

乐鑫深度学习开发库 ESP-DL 为神经网络推理、图像处理、数学运算以及一些深度学习模型提供 API，通过 ESP-DL 能够便捷地将 ESP32-S3 用于人工智能应用。 ESP-DL 在模型库中提供了一些模型的 API， 如人脸检测、 人脸识别、 猫脸检测等。 如果您想要定制模型，请参考定制模型的步骤介绍。

拓展阅读：乐鑫物联网开发框架 ESP-IDF

ESP-IDF 是乐鑫官方的物联网开发框架，它基于 C/C++ 语言提供了一个自给自足的 SDK，方便用户开发通用应用程序。ESP-IDF 集成了大量的软件组件， 拥有丰富的文档和示例资源。推荐您使用 ESP-IDF stable (v4.4.1) 版本开发基于 ESP32-S3 的应用，点此 GitHub 链接即可开始配置。

TensorFlow 示例资源 ESP-DL 代码仓库

更多支持

官方答疑支持

如果同学们在应用开发的过程中遇到了一些问题，希望获得技术支持，您可以：

实习就业支持

对于在本次大赛中表现突出的同学，乐鑫将提供前往上海研发总部的实习机会，以及校招绿色通道的支持。

关于乐鑫

乐鑫信息科技 (688018.SH) 是中国科创板首批上市企业，在 Wi-Fi MCU 领域拥有全球第一的市场份额。乐鑫专注于研发性能卓越、安全稳定、高性价比的无线通信 MCU 芯片，在中国、捷克、印度、新加坡和巴西均设有办公地，拥有一支来自近 30 个国家和地区的国际化团队。

乐鑫注重自主研发，目前已拥有一系列核心自研技术，包括射频技术、Wi-Fi / Bluetooth LE 网络协议栈、基于 RISC-V 指令集的 MCU 架构、AI 向量指令集和 AI 算法、操作系统、工具链、编译器、AIoT 软件开发框架、云连接等，实现软硬件研发闭环。

乐鑫开源的软件架构和稳定的 AIoT 解决方案，为全球数亿用户提供领先的无线连接、语音交互、人脸识别、人机交互、数据管理和处理等服务，为全球客户所信赖。乐鑫热爱技术，勇于创新和开拓，渴望用技术创造一个更加美好的世界。

竞赛官网

点此访问 2022 全国大学生物联网设计竞赛官方网站注册报名。