18 Aug 13:59

5f9ad35

Server - Nodejs

✨ 新增 ASR 插件新增 getClientAudioConfig 用于获取客户端传入的音频配置，详情见文档。
✨ 新增支持传入文本来进行对话，详情见：传入文本对话
✨ 新增 music_gen_ing 的指令回调，用于标识开始创作音乐
✨ 新增服务请求中可以增加 AUDIO_BUFFER_SIZE 、LITTLE_ROM 用于告诉服务端设备的能力
✨ 新增服务请求中可以增加 spk_sample_rate 、spk_channels 、spk_format 、spk_bitrate 用于控制服务器返回的音频采样率、声道数量、音频格式、音频比特率
💄 优化 LLM 提示词
💄 优化流量控制逻辑优化，并且支持客户端传入缓冲区大小。
💄 优化 VAD 机制优化
💄 优化鉴权失败机制
💄 优化文本间隔的流畅性
💄 优化 TTS 插件可以返回任意格式或者采样率的音频流, 框架内部增加 codec
🐞 修复文字和表情下发不同步的问题
🐞 修复部分其他问题

Install

npm i esp-ai@2.86.53

docker Install

docker exec -it esp-ai-server  npm i esp-ai@2.86.53

Client - Arduino

✨ 新增 esp32c3开发板兼容
✨ 新增灯珠数量设置
✨ 新增会话监听 onSessionStatus 形参增加 session_end 状态。
✨ 新增 onVolumeCb 回调函数用于监听音量变化。
💄 优化内部音频文件全部改为 16khz 的。
💄 优化配网方式默认使用蓝牙配网。
💄 优化动态内存占用情况进行深度优化
💄 优化小程序配网时的提示语修改为“打开微信小程序配网”
💄 优化音量变化时发出提示音
🤔 调整蓝牙配网只使用 ble 配网。
🤔 调整打断会话时不回复问候语，这样响应会快一些。
🤔⚠️调整全局变量 esp_ai_pixels 改为指针，使用时请使用 esp_ai_pixels->xxx。
🤔⚠️调整 ESP_AI_wifi_config.html_str 改为const char*类型，避免大量内存被占用。

// 旧版
char html_str[] = "<html><body>配网页面</body></html>";

// 新版
const char html_str[] PROGMEM = R"rawliteral( 
xxx
)rawliteral";

🤔⚠️调整所有回调函数的形参改为 const String& 类型，在提高数据安全性的同时避免大量内存被占用。

// 旧版
void on_command( String command_id,  String data)
{ 
    // ... 
}

// 新版
void on_command(const String &command_id, const String &data)
{ 
    // ... 
}

🐞 修复聆听指示灯有时候过快亮起来
🐞 修复网络连接成功回调执行延迟比较大

Install
esp-ai-2.95.56.zip

Assets 2

14 Jun 03:31

wangzongming

v2.75.51

00f38ae

Server@2.75.51 - Client@2.86.49

Server - Nodejs

💄 优化 VAD 结束时间优化
🐞 修复有些情况下 .stop() 方法会导致设备会一直处于唤醒中，并且增加 stop_all 参数用于打断所有播放。

Install

npm i esp-ai@2.75.51

docker Install

docker exec -it esp-ai-server  npm i esp-ai@2.75.51

Client - Arduino

💄 优化对部分服务指令增加响应帧。
💄 优化蓝牙配网数据采用分段传输。

Install

esp-ai-2.86.49.zip

Assets 2

04 Jun 14:27

wangzongming

v2.74.50

da05b40

Server@2.74.50 - Client@2.84.49 Latest

Latest

2025/6/4 Server@2.74.50 - Client@2.84.49

Server - Nodejs

💄 优化 LLM 提示词，避免有些时候让他讲故事等场景它不会真的去讲。

Install

npm i esp-ai@2.74.50

docker Install

docker exec -it esp-ai-server  npm i esp-ai@2.74.50

Client - Arduino

🐞 修复蓝牙配网硬件传入的数据不能被正常解析。
🐞 修复多个网络记忆逻辑存在些许问题。
🐞 修复修复非常见位数的麦克风无法收音。
🐞 修复 .setLocalData 方法设置的数据，如果存在相同子串会导致冲突。
🐞 修复 .clearData 不会清除自定义数据的问题。
🐞 修复连接自定义服务器失败的问题。

Install
esp-ai.zip

Assets 2

01 Jun 07:39

wangzongming

v2.74.49

d76a796

Server@2.74.49 - Client@2.84.43

2025/6/1 Server@2.74.49 - Client@2.84.43

Server - Nodejs

✨ 新增 await awaitPlayerDone(...) 方法用于等待音频播放完毕。
✨ 新增 isSpeaking(...) 方法用于获取某个设备是否正在播放音频。
✨ 新增 api_key、gen_client_config(...).api_key 配置，用于配置全局/用户的ESP-AI的秘钥，在一些需要进行AI服务时使用。
✨ 新增 vad_first(首次等待用户说话时间)、vad_course(对话过程中等待用户说话时间) 用于全局配置静默时间。
✨ 新增 LLM 插件的形参中增加 text_is_over 用于标识大语言模式是否已经推理完毕。
✨ 新增 LEDC 控制指令配置，用于配置舵机等传感器的控制。
✨ ⚠️ 新增 music_server 形参中增加 signal 信号，用于判断用户是否已经打断了对话，详情见文档。
✨ ⚠️ 新增 IAT 插件的形参中增加 onIATText 用于告诉框架当前 ASR 识别的内容。（破坏性更新，需要所有IAT插件跟随更改，必须增加调用这个钩子。）
🤔 ⚠️ 调整删除 .isPlaying() 使用 .isSpeaking() 替换。
💄 优化通信协议增加 流量控制 机制，防止硬件能力不足。
💄 优化用户指令执行于回复更自然流畅。
💄 优化用户指令在不设置 message 将由 LLM 进行推理回答。
💄 优化重构音频数据帧组成。
🐞 修复命令执行后就退下了，正常应该继续聆听用户说话。
🐞 修复歌曲创作的问题。
🐞 修复有时候错误提示 设备未连接, 将忽略本次唤醒 。
🐞 修复部分其他问题。
🐞 修复 LLM 句子最后面如果是一个括号，可能会被错误的单独拆分。
🐞 修复修复 ~、... 和一些特殊的结束符号结束的句子没有被正确结束。
🐞 修复休息提示语有时候不对。

Client - Arduino

✨ 新增 .playBuiltinAudio(...) 方法用于播放 MP3 音频文件。
✨ 新增 .awaitPlayerDone() 方法用于等待音频播放完毕。
✨ 新增 .isSpeaking() 方法用于获取是否正在播放音频。
✨ 新增 ESP_AI_i2s_config_mic.bits_per_sample、.channel_format 用于匹配各种不同型号的I2S麦克风和开发板。
✨ 新增情绪监听中增加 肯定、否定 情绪。
✨ 新增 .delAllTask() 删除所有任务、.suspendAllTask() 挂起所有任务、.resumeAllTask() 恢复所有任务。
✨ 新增支持记忆5个WIFI。
✨ 新增 LEDC 控制方法，用于配置舵机等传感器的控制。
✨ 新增蓝牙配网实现，在 wifi_config 中配置 way 即可，详情见客户端配置文档。
🤔 调整唤醒状态下不可重复唤醒，避免一些的奇怪的问题。
🤔 调整 arduino-audio-tools 依赖降级到版本 v1.0.2。
🤔 ⚠️ 调整硬件端删除所有 VAD 判断，迁移到服务端处理。删除 wakeup_conifg.vad_first、wakeup_conifg.vad_course 配置。
🤔 ⚠️ 调整删除 edge_impulse 唤醒方案（原因：精度难以达到理想效果）
🤔 ⚠️ 调整上报的音频流采用 PCM 格式，避免编码导致的延时（VAD放置到服务端需要实时性优先）。
💄 优化聆听状态不应该被打断，否则会出现一些不可控的问题。
💄 优化打断会话流畅度优化。
💄 优化对话流畅度优化。
💄 优化音频编解码代码大量优化。
💄 优化内置的所有mp3提示语进行压缩。
🐞 修复设备未初始化完毕和热点启动状态下指示灯没有颜色，以及部分情况下AI说话中的指示灯会提前结束的问题。