乐鑫科技重视 STEM 教育,我们赞助了全国大学生物联网设计竞赛。该竞赛由教育部高等学校计算机类专业教学指导委员会和物联网工程专业建设研究专家组共同发起,是国内物联网领域极具规模和影响力的学科竞赛。以下为乐鑫设定的竞赛任务,以及向参赛学生提供的软硬件资源。

1. 赛题任务

乐鑫为参赛者提供完整成熟的 AIoT 开发套件、物联网开发框架,丰富的开源软件代码和开放文档,以及繁荣的开发者生态,数以百万计的开发者贡献的网络资源将为你提供无尽的灵感与支持。

随着社会老龄化和特殊群体日益增长,如何运用创新科技为用户提供更智能、个性化的服务成为当务之急。本次竞赛旨在借助 AIoT SoC ESP32-S3 芯片,开发创新物联网解决方案,可重点关注老龄人口、病残人士、孕产妇、婴幼儿等特殊群体的需求和挑战,通过智能化设备和系统提升他们的生活质量。参赛作品可涉及健康监测、智能家居环境适配、日常生活辅助、紧急救援与安全保障等方面,充分发挥开发套件的 AI 算力和无线连接功能,实现智慧护理的创新。

参赛作品应具有前瞻性、创新性和实用性,结合特殊群体的实际需求和场景,充分利用 ESP32-S3 芯片的技术优势。同时,作品应注重隐私保护和安全可靠等方面,确保系统的可持续性和稳定性。

重要提示:
为了帮助同学们快速了解如何使用乐鑫软硬件开发资源,我们制作了一些简单的应用实例,请见第 3 节

2. 开发资源

本届赛题指定主控芯片为 ESP32-S3,该芯片集成 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE) ,搭载 Xtensa® 32 位 LX7 双核处理器,支持 AI 加速,能够实现高性能的图像识别、语音唤醒和识别、HMI 触摸屏等应用。

乐鑫为本次大赛提供软硬件一体的开发资源。硬件上,每个参赛队伍可以在以下 4 组开发套件中选择 1 组进行开发,大赛主办方将为参赛队伍免费寄送硬件开发套件。软件上,乐鑫提供开源的操作系统和软件资源,访问 GitHub 链接即可使用相应 SDK。

重要提示:

2.1 硬件资源(4 选 1)

开发板数量推荐用途硬件介绍用户指南

ESP32-S3-BOX-3B 开发板

50 套 ESP32-S3-BOX-3B 是一款 AI 语音开发套件,能够实现离在线语音唤醒和命令词识别,支持乐鑫高性能声学前端算法构建语音交互系统,推荐用于开发智能语音设备、HMI 设备、多协议网关等应用。 ESP32-S3-BOX-3B 搭载 ESP32-S3 Wi-Fi + Bluetooth 5 (LE) SoC、2.4 英寸 LCD 屏 (SPI)、双麦克风、一个扬声器、三轴陀螺仪,三轴加速度计、一个用于电源和下载/调试的 Type-C 接口、一个可实现硬件扩展的高密度 PCle 连接器,以及三个功能按钮。选择此开发板还可以获得扩展额外的外设模块的支架。具有 16 个可编程的 GPIO 引脚,同时可以向外设供 3.3 V 电。一个 USB Type-A 接口用于连接各种 USB 设备。一个 USB Type-C 接口用于 5 V 输入电源。

ESP32-S3-LCD-EV-BOARD 开发板

30 套 ESP32-S3-LCD-EV-BOARD 是一款人工智能开发板,推荐用于人机交互应用,例如智能中控屏、语音识别等。 ESP32-S3-LCD-EV-Board 通过 RGB 接口驱动一块 480*480 的 LCD 屏幕(RGB)。同时,它还搭载双麦克风阵列,支持语音识别和近/远场语音唤醒,具有触摸屏交互和语音交互功能,满足用户对多种不同分辨率以及接口的触摸屏应用产品的开发需求。

ESP32-S3-USB-OTG + USB1.1 Camera 开发板

50 套 ESP32-S3-USB-OTG 是一款着重 USB 外设应用的开发板。结合芯片的 Wi-Fi 功能,此开发板可利用 USB 实现摄像头 Wi-Fi 图传、4G 热点上网、无线 U 盘等应用。 ESP32-S3-USB-OTG 内置 8 MB flash,板载 USB Type-A 主机和从机接口、内置接口切换电路,USB 转串口调试芯片(micro USB 接口), 1.3 英寸 LCD 彩屏,SD 卡接口,充电 IC。可外接锂电池,实现便捷的无线操作。选择此开发板还可获得 720P USB 摄像头,方便进行高清图像和视频的录制。

ESP32-S3-DevKitC-1 开发板

70 套 ESP32-S3-DevKitC-1 是乐鑫推出的一款基础开发板,推荐用于结合 Wi-Fi 和/或传感器开发应用,例如定位和跟踪、体态检测、手势识别、环境温湿度测量、运动类型识别等。 ESP32-S3-DevKitC-1 板上模组大部分管脚均已引出至两侧排针,并支持外接传感器。您可根据实际需求,轻松通过跳线连接多种外围设备,也可将开发板插在面包板上使用。

2.2 开发环境

ESP-IDF 是乐鑫官方的物联网开发框架,它基于 C/C++ 语言提供了一个自给自足的 SDK,方便用户开发通用应用程序。ESP-IDF 集成了大量的软件组件,拥有丰富的文档和示例资源。点此观看 ESP-IDF 开发入门视频教程

重要提示:

2.3 软件资源

2.3.1 ESP-IoT-Solution

ESP-IoT-Solution 包含物联网系统开发中常用的外设驱动和代码框架,可作为 ESP-IDF 的补充组件,方便用户实现更简单的开发。我们重点推荐同学们关注图形界面、音频设备、输入设备、传感器集中的内容。

2.3.2 语音识别开发框架 ESP-SR

ESP-SR 是乐鑫开发的语音识别框架,可基于 ESP32-S3 AI 扩展指令实现高性能的语音识别,点此阅读 ESP-SR 新手入门ESP-SR 用户指南。ESP-SR 包含三个模块,分别是声学前端算法 (AFE)语音唤醒引擎 WakeNet可实现离线多命令词识别的轻量级模型 MultiNet

重要提示:
如果您需要在 ESP32-S3-LCD-EV-BOARD 上使用 ESP-SR,请先进行适配。

2.3.3 深度学习开发库 ESP-DL

乐鑫深度学习开发库 ESP-DL 为神经网络推理、图像处理、数学运算以及一些深度学习模型提供 API,通过 ESP-DL 能够便捷地将 ESP32-S3 用于人工智能应用。ESP-DL 在模型库中提供了一些模型的 API,如人脸检测人脸识别猫脸检测等。如果您想要定制模型,请参考定制模型的步骤介绍

TensorFlow 是一个端到端开源机器学习平台,其中包含各种工具、库和社区资源。此 GitHub 仓库提供了丰富的 TensorFlow 示例资源,包括魔棒(通过加速度传感器识别运动中的手势)、微型麦克风(语音数据中识别关键词)、人脸识别(识别图像中的人像)。您可以直接使用这些示例,也可以定制您自己的 AI 模型。

2.3.4 图像识别应用框架 ESP-WHO

乐鑫 AI 开发框架 ESP-WHO 提供人脸识别、猫脸检测、运动检测等示例。您可以基于这些示例,衍生出丰富的实际应用。

ESP-WHO 的运行基于 ESP-IDF,并支持丰富的外设,包括摄像头、Wi-Fi、LCD、LED、按键等。 ESP-DL 为 ESP-WHO 提供了丰富的深度学习相关接口,配合各种外设可以实现许多有趣的应用。

2.3.5 一站式云平台 ESP RainMaker

ESP RainMaker 是一个完整的 AIoT 云平台,它可以作为一个端到端的平台,为开发者提供一站式的物联网产品功能和示例,如设备分配、云连接和 OTA 升级等。

2.3.6 无线通讯协议 ESP-NOW

ESP-NOW 是乐鑫定义的基于数据链路层的无线通信协议,无需路由器即可实现单对多、多对多设备连接和控制,在空旷环境中可实现 200 m+ 的通信距离。ESP-NOW 支持和 Wi-Fi 与 Bluetooth LE 共存,可应用于远程控制、传感器等领域。

2.3.7 智能人体感知检测技术 ESP-CSI

ESP-CSI 利用 Wi-Fi 信号就能实现人体检测和动作识别,无需传感器。ESP-CSI 提供了比传统的信号强度(RSSI)更详细、更丰富的信道信息,包括信号的振幅、相位等。这些详细数据可用于支持各种高级应用,如室内定位、环境监测和人体感知。

2.3.8 ESP-IDF 组件管理工具 ESP Registry

ESP Registry 集合了丰富的开源组件,您可以通过关键词检索,将这些组件添加到 ESP-IDF 中使用。例如,您可以在搜索框中输入 LVGL、Button、ESP-SR、ESP-NOW、ESP32-S3-LCD-EV-BOARD(搜索开发板名称以获得板级支持包)、LED Strip (ws2812)、LED Indicator 等关键词,即可以获取相关资源。

3. 应用示例

为了帮助同学们快速上手,我们开发了一些简单的智能应用模型。为保留同学们自主开发的空间,我们未将所有的应用代码开源,但提供了可参考的资源链接。

3.1 智能药盒

本例程使用 ESP32-S3-BOX3 作为控制面板,利用 LVGL 开发了智能药盒的操作界面,并通过 ESP RainMaker 云端实现了药物管理系统。用户可随时查看和统计药物的使用记录。系统还提供了每日药物计划的语音播报功能,让用户始终掌握服药时间和用量。通过云端面部识别功能开启药盒,防止小孩误食药物。同时,药盒还可以通过传感器监测用户的心率和血氧。点此观看示例视频

代码仓库:

3.2 智能家庭控制面板

本例程使用 ESP32-S3-LCD-EV-Board 作为控制面板,接入 Home Assistant 智能家居平台。可以在本地通过语音控制家中各个设备。同时可以监测环境中的温度、湿度、空气质量等参数,语音播报环境优化建议。通过手势,如敲击或唤醒响指来快速启动指定功能。

代码仓库:

4. 更多支持

4.1 官方答疑支持

如果同学们在应用开发的过程中遇到了一些问题,希望获得技术支持,您可以:

4.2 实习就业支持

对于在本次大赛中表现突出的同学,乐鑫将提供在上海研发中心的实习机会,以及校招绿色通道的支持。

关于乐鑫

乐鑫科技 (688018.SH) 是中国科创板首批上市企业,在中国、捷克、印度、新加坡和巴西均设有办公地,拥有一支来自近 30 个国家和地区的国际化团队。乐鑫专注于研发性能卓越、安全稳定、高性价比的 AIoT SoC,开源的软件架构和稳定的物联网解决方案,为全球数亿用户提供领先的无线连接、语音交互、人脸识别、人机交互数据管理和处理等服务,为全球客户所信赖。

乐鑫拥有一系列核心自研技术,包括 Wi-Fi/Bluetooth LE 网络协议栈、射频技术、基于 RISC-V 指令集的 MCU 架构、 Al 向量指令和 Al 算法操作系统、工具链、编译器、AloT 软件开发框架、云连接等,实现软硬件研发闭环。

关注我们

微信官方主号

微信招聘号

官方 B 站号

乐鑫董办号

竞赛官网

点此访问 2024 全国大学生物联网设计竞赛官方网站注册报名。