大学生改行创业 返乡养驴
加入技术交流群
有没有想过自己的人工智能聊天机器人项目?现在你可以建造一个了!在本教程中，我们将使用CrowPanel ESP32-S3高级HMI显示器来创建一个语音交互聊天机器人，它连接到Wi-Fi，通过WebSocket进行通信，记录和播放语音，甚至在屏幕上显示实时状态。让我们把你的人工智能助手变为现实吧!
教程概述
本教程涵盖：
1. 代码解释-理解工作流程。
2. 生成十六进制图像数据-用于显示屏幕。
3. 获取AI模型API -设置你的AI聊天机器人项目。
4. 演示-运行完整的项目。
安装和所需文件
打开教程文件夹，其中包含：
?库-需要Arduino库。
Sofrware版本
ESP32: 3.0.2
按钮：1.0.0(这里的按钮库需要从库管理器下载。)
Python: 3.10.6
●display-picture -图像文件。
●lcd-imager-converter -图像转换工具。
?代码-用于ESP32 AI项目和服务器的Arduino和Python文件。
安装库
打开Arduino并在代码开头检查所需的库。这些库包含在下载的文件中，应该放在正确的Arduino库目录中。
代码浏览
1. 初始化组件
●Wi-Fi & WebSocket -设置Wi-Fi并通过指定IP地址连接到服务器。
●屏幕设置-根据显示尺寸调整参数(可在产品页面找到参数)并更新image .h。
?麦克风和扬声器-确保正确的引脚配置为您的硬件。
对于小型开发板，需要设置这两个引脚来放大音量。
2. 聊天机器人工作流
?按启动键会中断回放或唤醒项目中的聊天机器人。
●机器人图标会根据扬声器状态进行更新。
?web .py中的服务器事件循环处理JSON数据并控制回放。
●ts.py将文本转换为语音。更新此文件中的API密钥、URL和其他所需内容。
●设置麦克风的检测阈值。在聊天机器人项目中，你可以降低音量，使更安静的语音更容易识别。
●板控制扬声器和麦克风的文本数据和播放音频的二进制数据，处理它使用asr.py(语音到文本)。还要更新API密钥、URL和该文件中所需的其他内容。
?聊天机器人逻辑运行在llm_openai.py中。相应地更改模型、API URL和密钥。
?在config.py文件中，你是主管!根据您的喜好自定义角色，将其部署到服务器上，然后看着它活过来，在这个ai聊天机器人项目中与您的开发板聊天。这将是令人兴奋的!
设置API密钥
OpenAI(大型模型AI API)
1. 登录OpenAI，进入API Keys。
2. 单击Create New Secret Key并保存。
3. 在代码中使用此键。
火山引擎(语音到文本和文本到语音)
1. 登录到Volcano Engine并转到控制台。
2. 在搜索栏中搜索关键字，比如“voice”。
3. 创建一个新的应用程序，并获得应用程序ID和密钥。
4. 按照API文档进行集成。
用于显示的图像转换
1. 打开图像转换工具。
2. 选择一个镜像(镜像大小不能超过2MB)。点击“选项”->“转换”。预设为R5G6B5，并选择16位块大小。
3. 单击Show Preview，复制生成的数据数组，并将其替换到Arduino代码中。
4. 更新主代码文件中的图像大小和坐标。
运行聊天机器人
1. 将ESP32 HMI显示器连接到计算机并打开Arduino项目。(注意：将开发板的功能选择键设置为00)
2. 设置正确的显示大小后上传代码。
3. 配置Wi-Fi：取消注释第一次设置和上传的相关代码。
a.用手机连接ESP32的Wi-Fi(名称以“AI”开头)。
b.输入Wi-Fi密码。
一旦你完成了，屏幕就会亮起来——这意味着你已经连接上了!
4. 连接单板和PC服务器
a.打开Windows命令提示符，进入服务器端代码的根目录。
b.如果存在venv文件夹，删除该文件夹。
c.依次输入如下命令。
i.为Python项目创建一个虚拟环境。
Python -m venv venv
2。激活虚拟环境。
\ \ acticate venv \脚本
3。从requirements.txt文件中安装依赖项。
PIP install -r requirements.txt
iv.更新pip(仅在提示时)。
Python -m PIP install——upgrade PIP
v.安装OpenAI依赖项。
PIP安装openai dashscope
vi.启动服务器。
python ws.py
一旦服务器开始运行，您应该看到开发板开始记录。
评论