乐鑫科技重视 STEM 教育,我们赞助了全国大学生物联网设计竞赛。该竞赛由教育部高等学校计算机类专业教学指导委员会和物联网工程专业建设研究专家组共同发起,是国内物联网领域极具规模和影响力的学科竞赛。以下为乐鑫设定的竞赛任务,以及向参赛学生提供的软硬件资源。

1. 赛题任务

物联网正在驱动农业智能化发展。传感器对土壤、水、光、温度、作物生长、动物生理等数据进行收集,数据通过无线传输、人工智能、云等技术得到传输和处理,人们从而能够实时监测农场状况,并快速为整个农场或单一作物、动物做出决策。智慧农业应用广泛,包括农业环境监测、大棚自动化、生物照明、智能灌溉、精准养殖、牲畜管理、农产品科学储存、农产品运输、农业机器人等。

在本次竞赛中,乐鑫科技邀请同学们关注智慧农业,基于 AI SoC ESP32-S3 开发能够解决现实农业问题的智能应用。

ESP32-S3 能够为构建智能农业应用提供强大的 AI 算力和稳定的无线连接。芯片集成 2.4 GHz Wi-Fi 和 Bluetooth 5 (LE) ,搭载 Xtensa® 32 位 LX7 双核处理器,支持 AI 加速,能够实现高性能的图像识别、语音唤醒和识别、HMI 触摸屏等应用。

重要提示:
为了帮助同学们快速了解如何使用乐鑫软硬件开发资源开发智慧农业应用,我们制作了一些简单的农业应用原型,请见第 3 节。

2. 开发资源

乐鑫为本次大赛提供软硬件一体的开发资源。硬件上,每个参赛队伍可以在以下 4 组开发套件中选择 1 组进行开发,大赛主办方将为参赛队伍免费寄送硬件开发套件。软件上,乐鑫提供开源的操作系统和软件资源,访问 GitHub 链接即可使用相应 SDK。

重要提示:

2.1 硬件资源(4 选 1)

开发板数量推荐用途硬件介绍用户指南

ESP32-S3-BOX-Lite 开发板

45 套 ESP32-S3-BOX-Lite 是一款 AI 语音开发套件,能够实现离在线语音唤醒和命令词识别,支持乐鑫高性能声学前端算法构建语音交互系统,推荐用于开发智能语音设备、HMI 设备、多协议网关等应用。 ESP32-S3-BOX-Lite 搭载 ESP32-S3 Wi-Fi + Bluetooth 5 (LE) SoC、 2.4 寸 LCD 屏、双麦克风、一个扬声器、两个用于硬件拓展的 PmodTM 兼容接口

ESP32-S3-LCD-EV-BOARD 开发板

30 套 ESP32-S3-LCD-EV-BOARD 是一款人工智能开发板,推荐用于人机交互应用,例如智能中控屏、语音识别等。 ESP32-S3-LCD-EV-Board 通过 RGB 接口驱动一块 480*480 的 LCD 屏幕。同时,它还搭载双麦克风阵列,支持语音识别和近/远场语音唤醒,具有触摸屏交互和语音交互功能,满足用户对多种不同分辨率以及接口的触摸屏应用产品的开发需求。

ESP32-S3-EYE
开发板

45 套 ESP32-S3-EYE 是一款小型人工智能开发板,推荐用于图像识别和音频处理等应用。 ESP32-S3-EYE 搭载 ESP32-S3 芯片,配置了一个两百万像素的摄像头、一个 LCD 显示屏和一个麦克风。板上配有 8 MB 八线 PSRAM 和 8 MB flash,具有充足的存储空间。此外,开发板上的 ESP32-S3 芯片还提供了 Wi-Fi 图传和 USB 端口调试等功能。

ESP32-S3-DevKitC-1 开发板

45 套 ESP32-S3-DevKitC-1 是乐鑫推出的一款基础开发板,推荐用于结合 Wi-Fi 和/或传感器开发应用,例如定位和跟踪、体态检测、手势识别、环境温湿度测量、运动类型识别等。 ESP32-S3-DevKitC-1 板上模组大部分管脚均已引出至两侧排针,并支持外接传感器。您可根据实际需求,轻松通过跳线连接多种外围设备,也可将开发板插在面包板上使用。

2.2 开发环境

ESP-IDF 是乐鑫官方的物联网开发框架,它基于 C/C++ 语言提供了一个自给自足的 SDK,方便用户开发通用应用程序。ESP-IDF 集成了大量的软件组件,拥有丰富的文档和示例资源。点此观看 ESP-IDF 开发入门视频教程

重要提示:

2.3 开发环境

2.3.1 ESP-IoT-Solution

ESP-IoT-Solution 包含物联网系统开发中常用的外设驱动和代码框架,可作为 ESP-IDF 的补充组件,方便用户实现更简单的开发。我们重点推荐同学们关注图形界面、音频设备、输入设备、传感器集中的内容。

2.3.2 语音识别开发框架 ESP-SR

ESP-SR 是乐鑫开发的语音识别框架,可基于 ESP32-S3 AI 扩展指令实现高性能的语音识别,点此阅读 ESP-SR 新手入门ESP-SR 用户指南。ESP-SR 包含三个模块,分别是声学前端算法 (AFE)语音唤醒引擎 WakeNet可实现离线多命令词识别的轻量级模型 MultiNet

重要提示:如果您需要在 ESP32-S3-LCD-EV-BOARD 上使用 ESP-SR,请先进行适配。

2.3.3 深度学习开发库 ESP-DL

乐鑫深度学习开发库 ESP-DL 为神经网络推理、图像处理、数学运算以及一些深度学习模型提供 API,通过 ESP-DL 能够便捷地将 ESP32-S3 用于人工智能应用。ESP-DL 在模型库中提供了一些模型的 API,如人脸检测人脸识别猫脸检测等。如果您想要定制模型,请参考定制模型的步骤介绍

TensorFlow 是一个端到端开源机器学习平台,其中包含各种工具、库和社区资源。此 GitHub 仓库提供了丰富的 TensorFlow 示例资源,包括魔棒(通过加速度传感器识别运动中的手势)、微型麦克风(语音数据中识别关键词)、人脸识别(识别图像中的人像)。您可以直接使用这些示例,也可以定制您自己的 AI 模型。

2.3.4 图像识别应用框架 ESP-WHO

乐鑫 AI 开发框架 ESP-WHO 提供人脸识别、猫脸检测、运动检测等示例。您可以基于这些示例,衍生出丰富的实际应用。

ESP-WHO 的运行基于 ESP-IDF,并支持丰富的外设,包括摄像头、Wi-Fi、LCD、LED、按键等。 ESP-DL 为 ESP-WHO 提供了丰富的深度学习相关接口,配合各种外设可以实现许多有趣的应用。

2.3.5 一站式云平台 ESP RainMaker

ESP RainMaker 是一个完整的 AIoT 云平台,它可以作为一个端到端的平台,为开发者提供一站式的物联网产品功能和示例,如设备分配、云连接和 OTA 升级等。

2.3.6 无线通讯协议 ESP-NOW

ESP-NOW 是乐鑫定义的基于数据链路层的无线通信协议,无需路由器即可实现单对多、多对多设备连接和控制,在空旷环境中可实现 200 m+ 的通信距离。ESP-NOW 支持和 Wi-Fi 与 Bluetooth LE 共存,可应用于远程控制、传感器等领域。

2.3.7 ESP-IDF 组件搜索库 ESP Package Manager

ESP Package Manager 集合了丰富的开源项目,您可以通过关键词检索,将这些项目添加到 ESP-IDF 中使用。例如,您可以在搜索框中输入 LVGL、Button、ESP-SR、ESP-NOW、ESP32-S3-LCD-EV-BOARD(搜索开发板名称以获得板级支持包)、LED Strip (ws2812)、LED Indicator 等关键词,即可以获取相关资源。

3. 应用示例

为了帮助同学们快速上手,我们开发了一些简单的智能农业应用模型。为保留同学们自主开发的空间,我们未将所有的应用代码开源,但提供了可参考的资源链接。

3.1 智能灌溉

该灌溉模型使用 ESP32-S3-LCD-EV-BOARD 作为控制面板,通过 ESP RainMaker 实现云连接和 APP 远程控制,还实现了本地语音控制。点此观看示例视频。

代码仓库:

3.2 植物照明

本例程基于 LVGL 开发了照明管理系统的操作界面,并基于 ESP-NOW 实现多对多的照明灯具群控功能,快速实现本地多设备联动。ESP-NOW 是由乐鑫科技定义的无连接 Wi-Fi 通信协议,设备在配对后即可实现持续的、点对点的连接,且无需握手协议。

代码仓库:

3.3 农业设备的远程管理

本例程展示了在 Arduino 开发环境下,基于 ESP32-C3 开发板和 ESP RainMaker,实现在手机 APP 上的远程设备监控。

代码仓库:

技术博客:

4. 更多支持

4.1 官方答疑支持

如果同学们在应用开发的过程中遇到了一些问题,希望获得技术支持,您可以:

4.2 实习就业支持

对于在本次大赛中表现突出的同学,乐鑫将提供在上海研发中心的实习机会,以及校招绿色通道的支持。

关于乐鑫

乐鑫信息科技 (688018.SH) 是中国科创板首批上市企业。乐鑫专注于研发性能卓越、安全稳定、高性价比的无线通信 MCU 芯片,在中国、捷克、印度、新加坡和巴西均设有办公地,拥有一支来自近 30 个国家和地区的国际化团队。

乐鑫注重自主研发,目前已拥有一系列核心自研技术,包括射频技术、Wi-Fi / Bluetooth LE 网络协议栈、基于 RISC-V 指令集的 MCU 架构、AI 向量指令集和 AI 算法、操作系统、工具链、编译器、AIoT 软件开发框架、云连接等,实现软硬件研发闭环。

乐鑫开源的软件架构和稳定的 AIoT 解决方案,为全球数亿用户提供领先的无线连接、语音交互、人脸识别、人机交互、数据管理和处理等服务,为全球客户所信赖。乐鑫热爱技术,勇于创新和开拓,渴望用技术创造一个更加美好的世界。

竞赛官网

点此访问 2023 全国大学生物联网设计竞赛官方网站注册报名。