简要记录一次在 Windows（VMware 虚拟机）上部署 KouriChat 并接入微信的实践过程，侧重环境准备、安装启动、API 配置与注意事项。本文仅供学习与研究，请务必在可控的小号/测试环境中操作。

项目简介：KouriChat（概述）

KouriChat 是一款支持本地部署的 AI 聊天助手框架，特点：

• 支持多模型与本地运行，隐私友好；
• 支持角色设定、多轮记忆与定制化回复；
• 提供微信接入接口，可把助手绑定到微信对话（需谨慎使用）。

环境准备（最小要求）

• 操作系统：Windows 10（示例环境：VMware 中的 Win10 22H2）
• Python：3.11.x（64-bit）已安装并加入 PATH
• 网络：稳定的互联网连接（用于 pip 安装依赖与模型 API 调用）
• 硬件：4GB 内存可运行基础部署（仅做测试）

常用检查：

1
2

python --version
# 应输出 Python 3.11.x

安装与启动（快速步骤）

1. 解压项目：
   • 将 KouriChat-1.4.3.2.zip 解压到目标目录。
2. 进入目录并运行：
   • 双击 run.bat（或在 PowerShell/CMD 里执行）。
   • 脚本会创建虚拟环境并安装依赖（使用国内镜像会更快）。
3. 启动完成后访问：

   1	http://localhost:8502

   若浏览器未自动打开，可手动访问上述地址；出现页面即表示服务已启动。

核心配置（Admin 页面）

1. 首次访问，按页面提示设置管理员密码。
2. 进入「配置中心」→ 基础配置：添加要监听的用户（填写“昵称”，不是备注或微信号）。
3. 在 AI 接入处选择 API 提供方（以 DeepSeek 为例），填写 API 地址与密钥（下一节详述）。
4. 保存并生效，回到主界面执行“微信掉线重连”与“启动”操作。

获取 DeepSeek API Key（示例）

1. 访问： https://platform.deepseek.com
2. 登录后进入 API keys → 创建新 key → 复制保存（仅显示一次）
3. 在 KouriChat 的配置页面填入 API 地址与密钥：

   1 2	API 地址: https://api.deepseek.com/v1 模型: deepseek-chat

微信接入与重要风险提示

• 目前微信客户端与平台会不断升级与风控，某些接入方式可能随版本不可用或存在账号风险。
• 强烈建议仅使用小号/测试号进行试验，切勿在主账号上测试。
• 本文不提供规避官方风控的方法；任何导致账号异常的后果由使用者自行承担。

推荐操作流程：

1. 使用小号登录并确认能正常收发消息。
2. 在 KouriChat 中配置监听昵称并启动机器人。
3. 观察控制台日志与模型调用返回，确认消息转发与回复流程正常。

常见问题与排查要点

• 启动失败：检查 Python 版本、虚拟环境创建日志与 pip 依赖安装错误。
• 无法访问 localhost:8502：确认防火墙规则、服务是否已启动。
• 微信无法正常接入：检查微信客户端版本与 KouriChat 支持的接入方式，尝试使用提供的兼容资源或官方文档建议的办法。
• 模型调用失败：核对 API key、API 地址与配额/余额情况。

常用排查命令（Windows PowerShell）：

1
2
3
4
5

# 查看 8502 端口是否被监听
netstat -ano | findstr 8502

# 查看 Python 进程与虚拟环境日志（按项目实际路径）
type .\logs\kourichat.log

安全与合规建议（必读）

• 请仅用于学习、研究或获得授权的场景；避免在未经允许的环境中抓取或保存他人隐私数据。
• 不要尝试绕过服务提供方或平台的安全机制。
• 对可能触发风控的自动化行为保持谨慎（频率、内容等）。

后续扩展（可选方向）

• 将 KouriChat 暴露到公网（通过反向代理 / 隧道服务），注意认证与 HTTPS。
• 用更强的本地模型替代云 API（如果硬件与许可允许）。
• 集成消息队列以提高并发与稳定性。

参考与资源

• KouriChat 官方 / 仓库（请以项目主页为准）
• DeepSeek 平台： https://platform.deepseek.com

结束语

本文整理了在 VM/Windows 环境下把 KouriChat 启动并接入微信的基础流程与要点。再次提醒：请在受控的测试环境和小号中进行尝试，注意账号与数据安全。如需我把“公网穿透配置”或“VirtualBox/VMware 下的详细环境配置”单独展开，回复说明即可。

本文按场景汇总常用命令与配置示例，便于日常运维快速参考。

1 开机自动挂载（fstab）

编辑 /etc/fstab，添加示例：

1
2

# 本地 ISO 镜像挂载（iso9660）
/dev/cdrom  /root/aaa  iso9660  defaults  0  0

字段说明：设备 文件系统挂载点 FS类型 挂载选项 dump fsck顺序。修改后重启或执行 mount -a 测试。

2 配置 SSH 服务

编辑 /etc/ssh/sshd_config，常用项：

1
2
3
4
5
6

PermitRootLogin yes           # 允许 root 用户远程登录
Port 22                       # 允许的端口
PasswordAuthentication yes    # 允许密码登录
AllowUsers user1 user2        # 仅允许 user1 和 user2 登录（登录超时设置（防止空闲连接占用资源））
ClientAliveInterval 300       # 每 5 分钟发送一次心跳
ClientAliveCountMax 3         # 0 表示无限次，可改为 3 等有限次数

保存后重启：

1

sudo systemctl restart sshd

配置免密登录
两台主机
A生成密钥对执行命令生成 RSA 密钥对（一路回车，也可设密码，但设密码后仍需输密钥密码，一般免密场景直接回车留空 ）：

免密登录（在 A 机执行）：

1
2
3

ssh-keygen -t rsa
ssh-copy-id username@B_IP
ssh username@B_IP   # 测试无密码登录

3 网络配置（network-scripts / nmtui）

在 openEuler 中配置 network-scripts（传统网络服务）主要通过编辑 /etc/sysconfig/network-scripts/ 目录下的网卡配置文件实现。以下是详细
步骤，适用于静态 IP 和 DHCP 两种场景：

查看网卡：

1

ip addr

静态 IP（/etc/sysconfig/network-scripts/ifcfg-ens33 示例）：

1
2
3
4
5
6
7
8
9
10

TYPE=EthernetTYPE=Ethernet           # 网络类型
BOOTPROTO=static                     # 静态 IP（dhcp 为动态获取）
NAME=ens33                           # 网卡名称（与文件名一致）
DEVICE=ens33                         # 设备名（与网卡实际名称一致）
ONBOOT=yes                           # 开机启用
IPADDR=192.168.1.100                 # 静态 IP 地址
PREFIX=24                            # 子网掩码（24 等价于 255.255.255.0）
GATEWAY=192.168.1.1                  # 网关地址
DNS1=114.114.114.114                 # DNS 服务器 1
DNS2=8.8.8.8                         # DNS 服务器 2（可选）

重启网络：

1

sudo systemctl restart network

使用图形化文本界面：

1
2

sudo nmtui
# 选择 Edit a connection -> 选择网卡 -> 配置静态 IP -> 激活连接

4 命令补全

安装 bash 补全：

1
2

sudo yum -y install bash-completion
exec bash

5 安装图形化桌面（DDE / UKUI）

DDE 和 UKUI 都是国产 Linux 图形化桌面环境，相当于电脑的 “可视化操作界面”，类似 Windows 的桌面，但设计理念和适用场景有差异。以下用通俗易懂的方式对比两者区别：

1. 定位与风格
   DDE（Deepin Desktop Environment，深度桌面环境）
   风格：更偏向时尚、现代，界面设计简洁美观，动画效果流畅，图标和窗口风格精致，类似 macOS 的简约感。
   定位：适合追求颜值和操作流畅度的个人用户，比如日常办公、娱乐、编程等，尤其受年轻用户和开发者喜欢。
   UKUI（优麒麟用户界面）
   风格：更偏向稳重、实用，界面布局中规中矩，类似 Windows 经典风格（如开始菜单、任务栏位置），学习成本低。
   定位：适合需要稳定、适配性强的场景，比如政府、企业办公，或国产操作系统的标准化部署（如 openEuler、银河麒麟等）。
2. 功能与生态
   DDE
   功能：内置工具更 “潮”，比如深度商店（应用丰富，支持微信、QQ 等常用软件）、深度截图、系统监控等，交互细节贴心（如全局快捷键、多桌面管理）。
   生态：深度社区活跃，对国产硬件（如华为、统信芯片）和软件适配较好，适合个人用户打造 “个性化桌面”。
   UKUI
   功能：功能更 “基础”，侧重系统稳定性和兼容性，内置工具偏向办公实用（如文件管理器、文本编辑器），界面选项简洁，不易出错。
   生态：依赖国产操作系统官方支持（如优麒麟、openEuler），对政府 / 企业级软件（如电子政务系统）适配更优，适合大规模统一部署。
3. 使用场景推荐
   选 DDE：
   如果你是个人用户，想在 Linux 上体验好看、好用的桌面，或常用国产软件（如微信、WPS），选 DDE 更舒服。
   选 UKUI：
   如果你是企业用户或使用国产操作系统（如单位电脑预装的 openEuler），需要稳定、符合传统操作习惯的界面，选 UKUI 更合适。
   一句话总结
   DDE：像 “年轻人的时尚桌面”，好看又好用，适合追求个性和流畅体验的个人。
   UKUI：像 “稳重的办公桌面”，朴实无华但稳定可靠，适合企业和标准化场景。
   根据需求选就行～ 如果只是日常用电脑，建议先试试 DDE；如果是单位或国产系统设备，可能默认就是 UKUI

安装示例（视仓库与包名而定）：

1
2
3
4

sudo yum -y install ukui      # 或 dde
sudo chmod +x /etc/rc.d/rc.local   # 若需要
sudo systemctl set-default graphical.target
sudo reboot

DDE 更美观偏个人，UKUI 更稳重适配企业场景，按需选择。

6 虚拟机网络模式简介（桥接 / Host-Only / NAT）

• 桥接（Bridged）：虚拟机直接加入 LAN，获取同网段 IP，适合做局域网服务。
• 仅主机（Host-Only）：仅主机与虚拟机可互通，隔离外网，适合测试隔离环境。
• NAT：虚拟机通过宿主 NAT 上网，配置简单但外网无法主动访问虚拟机（需端口映射）。

7 常用命令速查

系统与信息：

1
2

whoami; hostnamectl; uname -a; uptime
free -h; df -h; du -sh /path

进程与服务：

1
2
3
4

ps aux | grep name
pkill -f name
sudo systemctl status|start|stop|restart nginx
ss -tulpn | grep :80

文件与查找：

1
2
3
4

ls -la; cat file; less file
find / -name "*.log"
grep -R --exclude-dir=node_modules "关键词" .
tar czvf a.tar.gz folder/; tar xzvf a.tar.gz

网络与传输：

1
2
3
4

ping -c4 example.com
curl -I https://example.com
scp file user@host:/path
rsync -avz src/ user@host:/dest/

8 vim 快捷与编辑

常用模式与命令：

• 模式：命令模式 / 插入模式 / 底行模式
• 插入：i a I A o O
• 行操作：yy 复制行；p 粘贴；dd 删除行
• 底行命令：:w 保存；:q 退出；:wq 保存退出；:q! 强制退出

9 提权（sudo）

编辑 sudoers（使用 visudo）：

1
2

# 允许 user1 使用 sudo
user1 ALL=(ALL) ALL

建议通过 visudo 修改以避免语法错误。

10 安全与建议（简要）

• 优先使用密钥登录，禁用 root 密码登录（生产环境）。
• 防火墙只开放必要端口，使用 SELinux/防火墙策略。
• 定期备份 /etc、重要配置与数据，使用包管理器更新补丁。
• 在生产环境谨慎设置 PermitRootLogin 与 PasswordAuthentication。

本文为速查手册，覆盖常见场景与示例，具体命令与包名请根据 openEuler 版本与仓库调整，遇到疑问可查看 man 页面或官方文档。

本文按场景分类，汇总常用的 Linux 命令与典型示例，适合作为日常运维与开发参考。命令示例以 bash 为主，适用于大多数 Linux 发行版（Ubuntu、CentOS、Debian 等）。

一、基础与系统信息

• 查看当前用户、主机、操作系统：

  1 2 3

  whoami # 当前用户 hostnamectl # 主机与系统信息 uname -a # 内核与架构信息

• 查看系统负载、运行时间：

  1 2 3

  uptime top # 交互式进程查看 htop # 更友好（需安装）

• 查看内存与交换：

  1 2	free -h vmstat 1 5

• 查看磁盘使用情况：

  1 2	df -h # 分区磁盘使用 du -sh /path # 某目录大小

二、用户与权限

• 添加、删除用户与切换：

  1 2 3

  sudo adduser username sudo userdel -r username su - username

• 修改权限与属主：

  1 2 3

  chmod 644 file.txt chmod -R 755 /var/www chown user:group file

• sudo 权限测试：

  1

  sudo -l

三、文件与目录操作

• 常用文件操作：

  1 2 3 4 5

  ls -la cat file less file head -n 50 file tail -f /var/log/syslog

• 复制、移动、删除：

  1 2 3

  cp -r src/ dest/ mv oldname newname rm -rf path/

• 查找文件与内容：

  1 2 3 4

  find / -name "*.log" locate filename # 需 updatedb grep -R --exclude-dir=node_modules "关键词" . grep -n "pattern" file

• 归档与压缩：

  1 2 3 4

  tar czvf archive.tar.gz folder/ tar xzvf archive.tar.gz zip -r archive.zip folder/ unzip archive.zip

四、进程与服务管理

• 列出进程与查杀：

  1 2 3

  ps aux | grep proc_name pkill -f process_keyword kill -9 PID

• systemd 服务管理：

  1 2 3 4 5 6

  sudo systemctl start nginx sudo systemctl stop nginx sudo systemctl restart nginx sudo systemctl status nginx sudo systemctl enable nginx # 开机自启 sudo systemctl disable nginx

• 查看端口占用：

  1 2 3

  ss -tulpn | grep :80 netstat -tulpn # 需安装 net-tools lsof -i :3306

五、网络与远程操作

• 网络调试：

  1 2 3 4

  ping -c 4 google.com traceroute google.com # traceroute 或 tracepath curl -I https://example.com wget https://example.com/file

• SSH 与文件传输：

  1 2 3

  ssh user@host scp file user@host:/path/ rsync -avz ./local/ user@host:/remote/ # 增量同步

• 配置和查看网络接口：

  1 2 3

  ip addr show ip route show nmcli device status # NetworkManager 环境

六、包管理（常见发行版）

• Debian/Ubuntu (apt)：

  1 2 3

  sudo apt update sudo apt install -y package sudo apt remove package

• CentOS/RHEL (yum/dnf)：

  1 2	sudo yum install package sudo dnf install package

• 通用（源码/二进制）：

  1	./configure && make && sudo make install

七、日志与排错

• 查看日志（系统/服务）：

  1 2	sudo journalctl -u nginx -f tail -n 200 /var/log/syslog

• 常用诊断工具：

  1 2 3

  strace -p PID # 跟踪系统调用 ltrace -p PID # 跟踪库调用 debugfs / debug tools for filesystem issues

• 权限与 SELinux：

  1 2 3

  getenforce setenforce 0 # 临时关闭 SELinux（谨慎） ausearch -m avc -ts today # SELinux 审计查询

八、文本处理与管道

• 文本处理工具：

  1 2 3 4

  awk '{print $1,$3}' file sed -n '1,20p' file cut -d',' -f1 file sort file | uniq -c | sort -nr

• 管道与重定向：

  1 2	command | grep pattern > out.txt command 2>&1 | tee log.txt

九、Shell 脚本与自动化

• 简单脚本模板：

  1 2 3 4 5 6 7 8

  #!/usr/bin/env bash set -euo pipefail IFS=$'\n\t' # 示例：备份目录 src="/var/www" dst="/backup/$(date +%F).tar.gz" tar czf "$dst" "$src"

• 定时任务（crontab）：

  1 2 3

  crontab -e # 每天 2 点备份 0 2 * * * /usr/local/bin/backup.sh >> /var/log/backup.log 2>&1

十、实用技巧与安全建议

• 经常备份 /etc、数据库与重要数据。
• 生产环境慎用 root，优先使用 sudo。
• 打开防火墙并仅放行必要端口（ufw/iptables/firewalld）。
• 使用密钥认证替代密码登录 SSH，禁用 root 远程登录。
• 定期更新系统与第三方软件，关注安全公告。

参考与延伸阅读

• man command（例如 man ssh）
• tldr pages（简明命令示例）
• 官方发行版文档（Ubuntu、CentOS、Debian）

本文为常用命令速查手册，覆盖面广但不详尽。建议根据实际发行版与应用场景查阅 man 页与官方文档以获取详细选项与用法。

随着内容增长，静态博客仍可能面临首页加载慢、首屏阻塞和流量浪费等问题。以下按策略列出可落地的优化点与示例，便于在 Hexo 主题中快速应用。

一、图片优化（优先级最高）

1. 压缩与格式

• 先使用工具压缩（TinyPNG、ImageOptim）。生产环境尽量输出 WebP/AVIF，备份保留原图。

2. 响应式与 srcset

• 用 picture + srcset 提供多分辨率图，减少移动端带宽：

  1 2 3 4 5

  <picture> <source media="(max-width:600px)" srcset="image-480.webp"> <source media="(max-width:1200px)" srcset="image-800.webp"> <img fetchpriority="high" src="image-1200.webp" alt="封面"> </picture>

3. 懒加载

• 首页与列表使用懒加载库（lazysizes / lozad），文章内首图除外。

4. CDN 与缓存

• 将图片上 CDN（七牛/又拍/OSS），设置长缓存与合适的 Cache-Control。

二、CSS / JS 优化

1. 移除不必要依赖

• 把 jQuery + fancybox 替换为轻量 PhotoSwipe 或原生实现，减少包体积。

2. 按需加载第三方功能

• 仅在需要的文章页加载 mermaid、katex 等：

  1 2 3

  <% if (theme.mermaid.enable && page.mermaid) { %> <script src="<%= vendorCdn(theme.vendor.js.mermaid)[0] %>" defer></script> <% } %>

3. 异步与延迟加载

• 全站脚本使用 defer；低优先级（评论、统计）用动态加载：

  1 2 3 4 5 6 7 8 9

  <script src="/js/main.js" defer></script> <script> // 延迟加载评论示例 window.addEventListener('load', () => { const s = document.createElement('script'); s.src = '/js/comments.js'; document.body.appendChild(s); }); </script>

4. Critical CSS 与预加载

• 提取首屏关键样式，其他样式使用 rel=”preload” + onload 方式加载：

  1 2	<link rel="preload" href="/css/app.css" as="style" onload="this.onload=null;this.rel='stylesheet'"> <noscript><link rel="stylesheet" href="/css/app.css"></noscript>

三、字体与图标

• 使用 iconfont 自定义子集或 SVG 图标，避免全量 FontAwesome。
• 预连接与预加载第三方字体：

  1 2	<link rel="preconnect" href="https://fonts.gstatic.com" crossorigin> <link rel="preload" href="https://fonts.gstatic.com/s/xxx.woff2" as="font" type="font/woff2" crossorigin>

四、第三方与低优先资源

• 评论、统计、搜索、社交脚本置为延迟加载或按需触发（用户交互后加载）。
• 使用 localStorage / indexedDB 缓存少变更数据（如标签缓存）。

五、构建与部署

1. 构建优化

• 在 Hexo build 阶段启用压缩、合并资源（gulp/webpack/rollup）。

2. 传输优化

• 启用服务器 gzip / brotli，设置静态文件长缓存并配合版本化（文件指纹）。

3. 部署方式

• 推荐使用 HTTPS Git 部署或 CI/CD（GitHub Actions + CDN 同步）避免 SSH 端口限制。

六、测试与监控

• 使用 Lighthouse、WebPageTest、Pingdom 测量首页与文章页性能。
• 关注 LCP、CLS、FID/INP、TTFB 并以 LCP 与交互延迟为优化目标。

小结（执行顺序建议）

1. 图片（WebP + srcset + CDN）
2. 移除/替换大依赖（jQuery/fancybox）
3. 懒加载与按需加载（mermaid、评论等）
4. 字体预加载与首屏 CSS 优化
5. 启用压缩、缓存与 CDN；使用 Lighthouse 验证

本文为实践型要点集合，可根据主题结构在模板（layout/partial）中逐项改造并通过 hexo cl && hexo g 本地验证效果。

此博客为一篇针对初学者的详细教程，涵盖小智 AI 机器人的原理、硬件准备、软件环境搭建、代码实现、云端部署以及优化扩展。文章结合了现有的网络资源，取长补短，确保内容易于理解和操作。

教程目标

本教程将指导初学者使用 ESP32 微控制器开发一个简单的语音对话机器人“小智”。我们将介绍所需的基础原理、硬件准备、软件环境搭建，以及如何编写代码实现语音唤醒和与云端大模型的对接。

通过本教程，即使没有深厚的 AI 或嵌入式经验，也可以一步步制作出一个能听懂唤醒词并与人对话的简易 AI 机器人。本教程提供详细的操作步骤、代码示例和图示，帮助您轻松上手。

1. 基础原理

ESP32 架构及其在 AI 领域的应用

ESP32 是一款集成 Wi-Fi 和蓝牙的双核微控制器，具有较高的主频和丰富的外设接口，适合物联网和嵌入式 AI 应用。特别是新版的 ESP32-S3 芯片，不仅运行频率高达 240MHz，还内置了向量加速指令（有时称为“AI 指令”）并支持高速 PSRAM，从而可以在一定程度上加速神经网络推理 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。在 AI 领域，ESP32 常用于边缘设备，执行一些轻量级的本地 AI 任务（如语音关键词检测、简单的图像识别等），或充当连接云端 AI 服务的桥梁。由于资源有限，ESP32 无法独立运行大型深度学习模型，但它可以负责前端的数据采集和初步处理（如音频处理），然后将数据传输给云端或本地服务器上的强大 AI 模型进行复杂计算，再将结果返回设备。这样的架构充分利用了 ESP32 的实时控制能力和云端大模型的强大推理能力。

语音唤醒模块（ESP-SR）的工作原理

乐鑫官方提供了 ESP-SR (Speech Recognition)语音识别框架，包含唤醒词引擎（WakeNet）、命令词识别（MultiNet）等组件 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。其中唤醒词功能用于在设备待机时持续监听音频流，当检测到特定的唤醒词时触发设备进入对话/识别状态。例如，我们可以将“小智小智”设定为唤醒词。当 ESP32 运行 WakeNet 模型时，它会不断从麦克风录制音频并计算梅尔频谱倒谱系数（MFCC）等特征，然后通过一个针对 ESP32-S3 优化的神经网络算法对特征进行分类 (esp-box/docs/technical_architecture_cn.md at master · espressif/esp-box · GitHub)。一旦检测到训练好的关键词序列，WakeNet 就输出唤醒信号，唤醒设备进入语音交互状态 (esp-box/docs/technical_architecture_cn.md at master · espressif/esp-box · GitHub)。这种本地唤醒机制即使在有环境噪声的情况下也能保持较高的准确率（官方数据显示在噪声环境下识别率不低于 80% (esp-box/docs/technical_architecture_cn.md at master · espressif/esp-box · GitHub)）。ESP-SR 默认提供了一些开箱即用的唤醒词模型（如 “Hi, ESP” 或 “Hi, 乐鑫”)，开发者也可以定制自己的唤醒词模型 (esp-box/docs/technical_architecture_cn.md at master · espressif/esp-box · GitHub)。工作流程是：麦克风采集到的模拟音频经前端处理（降噪、增益等），送入 WakeNet 模型进行关键词检测。如果未检测到唤醒词，设备保持低功耗待机；一旦检测到唤醒词，设备即进入后续的语音识别或对话流程。同时，为了节省运算资源，ESP32 在唤醒后通常会暂停 WakeNet，以便释放 CPU 处理后续音频；待对话完成后再重新启用 WakeNet 监听下一个唤醒词 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。

流式对话的概念及 WebSocket/UDP 传输机制

所谓流式对话，是指机器人在唤醒后能够实时地接收和发送数据，与用户进行连续的对话交流，而非一次性等待用户说完整句子再回复。要实现流式对话，ESP32 需要将用户的语音数据边录制边发送到云端的语音识别/大模型服务，并且及时接收对方返回的回复数据。这通常涉及到稳定高效的网络传输机制。常用的方式有两种：

WebSocket 通信

WebSocket 是基于 TCP 的全双工长连接协议，非常适合实时数据交换。一旦建立连接，服务器和客户端（ESP32）都可以随时发送数据而不需要重复握手。在本项目中，可在 ESP32 启动时就建立一个通向服务器的 WebSocket长连接 (Building a fully local LLM voice assistant to control my smart home | Hacker News)。ESP32 检测到唤醒词后，立即通过该 WebSocket 流式发送音频数据到服务器 (Building a fully local LLM voice assistant to control my smart home | Hacker News)。服务器一边接收音频流一边进行语音识别，并将部分结果或最终结果通过同一连接发回给 ESP32。得益于 WebSocket 保持的长连接，数据可以持续、快速地往返，实现即时的对话体验。例如，有开发者采用 ESP32 + Node.js 服务器架构，通过 WebSocket传输音频，实现实时的语音助手 (I created a Realtime Voice Assistant for my ESP-32, here is my journey - Part 2 : Node, OpenAI, Langchain - DEV Community)。

UDP 传输

UDP 是基于数据报的传输协议，开销小、延迟低，但不保证可靠送达。在一些对实时性要求极高且可以容忍少量数据丢失的场景，可以考虑使用 UDP 将音频帧连续地发送到服务器。不过 UDP 没有内建重发、排序机制，需要应用层自行处理丢包重传或顺序问题。因此，对于初学者项目来说，UDP 方案实现难度略高，而且在局域网环境下 WebSocket 已经可以提供足够低的延迟和可靠性。所以通常推荐使用 WebSocket 实现流式语音对话，在开发和调试阶段简便可靠 (PipeCat - 打造实时语音 AI 应用的开源架构方案 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）)。待项目成熟后，再根据需要考虑是否切换更底层的传输方案（如 WebRTC 等高级方案 (PipeCat - 打造实时语音 AI 应用的开源架构方案 - 53AI-AI生产力的卓越领导者（大模型知识库|大模型训练|智能体开发）)）。

总结来说，本项目将利用 ESP32-S3 的本地语音唤醒能力，让设备在检测到“小智”唤醒词后，开始录音并流式发送音频到云端，通过 WebSocket 与服务器上的大语言模型保持对话数据的实时交互。当云端返回文本应答后，ESP32 可将其显示在屏幕上（或语音播报），从而完成一次人机对话循环。

2. 硬件准备

要制作一个语音对话机器人，我们需要准备以下硬件组件，并确保它们兼容且正确连接：

ESP32-S3 开发板（带有 PSRAM）

核心控制器，大脑所在。建议选择 ESP32-S3 系列开发板，因其具备AI加速指令集和高速PSRAM，可支持语音唤醒等 AI 功能 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。常见选项包括官方的 ESP32-S3-DevKitC-1（WROVER模块带8MB PSRAM）、或多合一的语音开发板如 ESP32-S3-Korvo 系列和 ESP32-S3-BOX 等 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。这些板子自带麦克风阵列、音频编解码等硬件，方便语音应用开发。

麦克风

用于采集用户语音。强烈推荐使用 I2S 接口的数字麦克风（MEMS麦克风），例如 INMP441 模块。数字麦克风可以直接将音频数据以数字信号传给 ESP32，抗干扰能力强，音质更好 (Building a fully local LLM voice assistant to control my smart home | Hacker News)。避免使用模拟麦克风加ADC的方法，因为ESP32自带的ADC精度有限且噪声较大，模拟方案音质往往不佳 (Building a fully local LLM voice assistant to control my smart home | Hacker News)。常用的 I2S 麦克风模块有 INMP441、ICS-43434 等，它们需要连接 ESP32 的 I2S接口引脚（WS, SCK, SD 等）以及电源。

扬声器和音频放大器（可选）

用于语音播报机器人回复。如果希望机器人能“说话”，需要一个小型扬声器（如 4Ω 3W）的输出方案。ESP32 可以通过内置 DAC 输出模拟音频，但驱动扬声器需要功率放大器。常用方案是使用 I2S 数字功放模块（如 MAX98357A）将 ESP32 的I2S音频输出转换为扬声器驱动信号。该模块接收ESP32的I2S数据和时钟，输出功率音频信号，直接驱动小喇叭。如果暂时不需要语音输出，也可以先不接扬声器，后续通过串口日志或屏幕查看机器人回复的文本。

显示屏（OLED/LCD，可选）

用于显示对话内容或机器人表情。一个小型显示屏可以显著增强人机交互体验。初学者可以选用I2C接口的单色 OLED（如0.96寸 128×64 OLED）或 SPI 接口的彩色 LCD（如1.3寸 240×240 TFT）。这些屏幕可以用来显示用户说的内容和机器人生成的回复文字，或显示一些图标、头像来提示当前状态（正在听/在想/在说等）。显示屏通过 I2C 或 SPI 接口连接到 ESP32 的对应引脚，并需要供电。后续可以使用图形库（如 LVGL）或驱动库来控制显示内容。

其他配件

若使用独立的开发板和模块，还需要若干 面包板和连接线 方便搭建原型、电源线和 USB 数据线等。如果选用的是类似 ESP32-S3-BOX 这类集成度高的设备，许多组件（屏幕、麦克风、扬声器）已经内置，无需额外连接。 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)

图：ESP32-S3-Korvo-2 音频开发板（乐鑫官方语音开发套件）示例，板载双麦克风、音频编解码芯片、扬声器接口和LCD接口等，方便构建语音交互设备 (以乐鑫语音开发框架为例，系统了解嵌入式设备的语音唤醒和语音识别-RoboticsCV)。

(image)

图：使用 ESP32 开发板+麦克风+扬声器搭建语音助手原型的实际连接示例。ESP32 开发板（右下）通过面包板连接麦克风（中间小圆件）和扬声器（左上黑色喇叭），用于采集和播放语音。

选购建议

如果希望尽量减少硬件连接的麻烦，可以选择类似 ESP32-S3-BOX 或 ESP32-S3-Korvo 这样的开发套件，它们集成了语音所需的大部分硬件，开箱即可使用唤醒词和语音功能 (esp-box/docs/technical_architecture_cn.md at master · espressif/esp-box · GitHub)。例如，ESP32-S3-BOX 自带触摸屏、双麦克风和扬声器，只需刷入程序即可成为一个简单语音助手。不过这类套件价格相对较高。对于学习和制作原型来说，使用普通的 ESP32-S3 开发板加上外接麦克风和屏幕也是常用方案，性价比更高。在购买麦克风模块时，要确认其引脚定义与ESP32兼容（一般接 3.3V、GND、WS、SCK、SD），并注意麦克风的指向性、灵敏度等参数，以满足您的应用（如近场对话一般使用全指向麦克风，远场则考虑阵列降噪技术）。扬声器方面，小功率扬声器即可满足语音提示功能；若追求更大音量，可考虑使用有源音箱或更高功率的放大器，但要注意供电能力。显示屏选型取决于需求和预算，初期可以使用廉价的0.96寸OLED显示文字，后期可升级为彩屏显示头像或图形界面。

总之，在硬件搭建阶段，请按照各模块的规格说明正确连接电路，并确保供电稳定（ESP32 开发板通常通过 USB 供电，确保电脑USB口或电源适配器有足够的电流供应）。完成硬件连接后，我们就可以着手软件环境的搭建与代码编写了。

3. 软件环境搭建

在开始编程之前，需要搭建好 ESP32 的开发环境，以及准备云端大模型所需的工具库。

安装 ESP-IDF 开发框架

ESP-IDF（Espressif IoT Development Framework）是乐鑫官方的底层开发框架。我们将使用 ESP-IDF 来编写 C/C++ 代码控制 ESP32。请根据您的操作系统安装相应版本的 ESP-IDF。建议使用最新版（如 v5.x），以便支持 ESP32-S3 和 ESP-SR 库。安装方法如下：

• Windows 用户： 可以使用乐鑫提供的安装包，其中集成了 IDF、编译工具链和 Python 环境等。一键安装后，运行 ESP-IDF 提供的命令行快捷方式进入开发环境。
• Linux/Mac 用户： 可通过 git 克隆 ESP-IDF 仓库，然后运行 install.sh 脚本安装所需工具链和Python包。安装完成后，运行 export.sh 脚本配置环境变量。

详细步骤可参考乐鑫官方文档，但总的来说，安装完成后在命令行执行 idf.py –version 能看到版本信息即表示环境就绪。接下来创建一个 ESP-IDF 项目或者使用官方示例作为起点。

配置 VSCode/Cursor 开发环境

为了提高开发效率，我们推荐使用 VSCode 作为主要的代码编辑器，并安装乐鑫官方的 ESP-IDF VSCode 插件。该插件可以方便地菜单配置项目信息、一键编译烧录、监视串口输出等。您可以在 VSCode 的扩展商店搜索“Espressif IDF”并安装，然后按照插件指引配置 ESP-IDF 安装路径和 Python 环境。

除此之外，您也可以尝试使用最近流行的 Cursor 代码编辑器。Cursor 本质上是 VSCode 的一个改进版本，内置了 GPT-4、Claude 2 等大型语言模型作为编程助手 (用Cursor 写出第一个程序- 架构师汤师爷 - 博客园)。使用 Cursor，您可以在编写代码时得到 AI 对代码的提示、自动补全和错误检查等智能帮助 (用Cursor 写出第一个程序- 架构师汤师爷 - 博客园)。这对初学者调试语音项目这样的复杂工程非常有益。例如，当您不知道某个 ESP-IDF 函数如何使用时，可以直接在 Cursor 中询问 AI 获取帮助。当然，使用 Cursor 并非必需，如果您习惯纯 VSCode 或其他编辑器也完全可以。

安装所需库和工具

本项目除了 ESP-IDF 自带的组件外，还可能需要用到一些专门的软件库，特别是在云端服务器部分，以实现语音识别和大语言模型对话功能。在开发电脑或服务器上，建议准备好以下工具：

• SenseVoice 语音识别模型及 API： 这是阿里巴巴达摩院开源的一个多语言语音理解模型，支持语音转文本(ASR)、语言识别、情感识别等功能 (GitHub - HG-ha/SenseVoice-Api: 阿里SenseVoice的fastpi封装，采用onnx发布，体积更小，附带量化模型，支持GPU。支持从URL文件进行语音识别。)。相较于其他开源方案，SenseVoice 在中文等多语言识别上精度很高，据称训练了超40万小时语音数据，效果优于 OpenAI 的 Whisper 模型 (GitHub - HG-ha/SenseVoice-Api: 阿里SenseVoice的fastpi封装，采用onnx发布，体积更小，附带量化模型，支持GPU。支持从URL文件进行语音识别。)。我们可以使用开源社区提供的 SenseVoice 推理代码或封装好的 API 服务。例如，GitHub 上的项目 SenseVoice-API 提供了基于 ONNXRuntime 的轻量级封装和 FastAPI 接口，方便我们将 SenseVoice 部署成一个本地服务 (GitHub - HG-ha/SenseVoice-Api: 阿里SenseVoice的fastpi封装，采用onnx发布，体积更小，附带量化模型，支持GPU。支持从URL文件进行语音识别。)。请按照该项目说明安装所需依赖（如 Python 及 onnxruntime）并下载模型文件，然后启动服务用于将音频流转成文本。
• DeepSeek / Qwen 大语言模型： 为了让机器人更智能地对答，我们需要接入一个强大的大语言模型(LLM)。DeepSeek 是国内开源的一个系列大模型，基于强化学习技术训练，性能媲美一些商业模型 (deepseek-ai/DeepSeek-R1-Distill-Qwen-7B · Hugging Face)。他们提供了多种版本，包括体积较小的蒸馏模型（如基于 Qwen-7B 的 DeepSeek-R1 Distill）以及更大的 Qwen-32B/72B 模型 (deepseek-ai/DeepSeek-R1-Distill-Qwen-7B · Hugging Face)。其中 Qwen (通义千问) 是阿里巴巴开源的大模型系列，7B 和 14B 版本已开源，而 72B 参数的模型则在阿里云上提供服务。您可以根据自身算力选择使用哪种模型：如果本地有高性能GPU，可以尝试部署7B左右参数的模型运行；如果没有，则可以考虑通过在线API调用这些模型的推理服务。阿里云提供了 DashScope API 接口来调用通义千问模型，只需注册获取 API Key 即可使用 (GitHub - zengjunc/VocaMirror: 语镜VocaMirror——基于sensevoice、cosyvoice和qwen模型实现与“自身声音”对话)。无论本地部署还是云端API，请先安装好相应的Python库：如 Hugging Face Transformers（用于加载DeepSeek/Qwen模型）或者官方提供的 SDK（如 DashScope SDK）。
• 其他工具： 音频处理库（如 pyaudio 或 soundfile）可能用于服务器录音或读取文件；用于 WebSocket 通信的库（如 websockets for Python 或 Node.js 的 socket 库）如果您计划实现实时流式传输；以及 HTTP 客户端工具（如 requests）用于调用RESTful API 等。如果打算使用 Node.js 作为服务器，也需要准备好 Node.js 环境以及相关依赖（如用于 WebSocket 的ws库，用于调用AI服务的SDK等）。

配置好以上软件环境后，整个开发流程将会是：使用 VSCode/ESP-IDF 在本地编写并烧录 ESP32 端代码，同时使用 Python/Node 等在电脑上编写服务器端代码并运行 AI 模型服务。接下来，我们就进入代码实现部分，看看如何让各部分协同工作。

4. 代码实现

在这一部分，我们将编写 ESP32 端的主要代码，实现以下功能：唤醒词检测、音频采集并上传、接收并处理云端返回的文本。代码将基于 ESP-IDF 编写，语言为 C/C++。由于完整代码较长，这里拆分讲解关键步骤，并提供简化的代码示例。

4.1 初始化语音唤醒功能

首先，我们需要初始化 ESP-SR 提供的唤醒词引擎，使能麦克风采集和关键词检测。假设我们使用 ESP32-S3 和官方 ESP-SR 库，初始化主要包括：配置 AFE（声学前端）参数、启用 WakeNet 模型、设置唤醒回调等。伪代码示例如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

#include "esp_sr_iface.h"
#include "esp_sr_models.h"

// 1. 配置声学前端 (AFE) 参数
afe_config_t afe_config = AFE_CONFIG_DEFAULT(); // 默认配置
afe_config.wakenet_init = true; // 启用唤醒词检测
afe_config.voice_communication_init = false; // 不启用通话模式，以免与唤醒冲突
afe_config.wakenet_model_name = "wn9_xiaozhi"; // 指定唤醒词模型名称(假设我们有"小智"模型)
afe_config.wakenet_mode = DET_MODE_1CH; // 麦克风通道: 单通道模式

// 2. 初始化AFE，并加载唤醒词模型
sr_handle_t sr_handle = sr_handle_init(&afe_config);
if (!sr_handle) {
    printf("ESP-SR 初始化失败\n");
    return;
}
esp_err_t ret = sr_wakenet_init(sr_handle);
if (ret == ESP_OK) {
    printf("唤醒词引擎加载成功\n");
}

// 3. 注册唤醒回调，当检测到唤醒词时执行
sr_set_wakenet_cb(sr_handle, on_wakeup_detected);

上面代码说明：

• 使用 AFE_CONFIG_DEFAULT() 宏获取默认的音频前端配置结构，然后根据需要调整参数。我们启用了 wakenet_init 来打开唤醒词检测，而将 voice_communication_init 置为 false，因为这两者不能同时为 true（通话模式用于双工通话情景，不在本项目范围）。wakenet_model_name 指定要加载的唤醒词模型的名字（例如这里假设我们有名为 “xiaozhi” 的模型，实际上需要先把模型文件烧录进 SPIFFS 或 Flash）。wakenet_mode 设为单通道检测，如果有双麦克风可以用相应的双通道模式以提升远场性能。
• 使用 sr_handle_init 初始化语音识别句柄，然后调用 sr_wakenet_init 加载唤醒词模型。如果返回 ESP_OK 则表示模型加载成功，可以开始检测。
• 通过 sr_set_wakenet_cb 注册一个回调函数 on_wakeup_detected，当 WakeNet 在音频流中检测到目标关键词时，这个回调就会被调用。在回调函数中我们可以进行接下来的处理（例如开始录音等）。

需要注意提前将所需的唤醒词模型文件添加到工程中（通常 ESP-SR 提供了一些预训练模型，可以在菜单配置中选中，如 “Hi 乐鑫” 等；如果要自定义唤醒词，则需要使用乐鑫提供的工具训练模型，然后集成）。

4.2 处理语音输入并上传至大模型

当唤醒词被检测到时，ESP32 应该切换到对用户语音指令的录制和传输流程。典型做法是在回调中通知主程序开始录音。可以创建一个 音频采集任务，持续从 I2S 麦克风读取音频数据，直到检测到一段静音（表示用户说话结束）或达到最大录音时长，然后通过网络将音频发送出去。

音频采集

ESP32 IDF 提供 I2S 驱动来读取麦克风数据。麦克风模块通常以固定采样率输出，比如 16kHz 16位音频。我们可以设置 I2S DMA，每次读取一定帧数的数据到内存缓冲区。为了简单，我们假设每次读取 BUFFER_SIZE 大小的数据块，并将其暂存。如果需要判断何时用户说话结束，可以实现一个简单的静音检测（VAD）：连续几百毫秒检测音量，如果音量低于阈值则认为用户讲话结束。

数据上传

这里提供两种策略：

• 流式上传（推荐）： 边录音边通过网络发送数据段。利用前文建立的 WebSocket 连接，将每个缓冲区的数据通过 esp_websocket_client_send_bin() 发给服务器。这样服务器可同步识别，不需等全部录完。这种方法实现对话响应更快。
• 后端上传（简单）： 先本地录完整句话，存成PCM或WAV格式，然后通过一次 HTTP POST 请求将音频文件发送给服务器，等待服务器返回结果。在初期调试时此方法更直观，但交互上会有一点延迟。

我们以流式方式为例，展示录音与发送的伪代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

// 假设已经建立好 WebSocket 连接，句柄为 ws_client
#define SAMPLE_RATE 16000
#define BYTES_PER_SAMPLE 2 // 16-bit audio
#define BUFFER_SIZE 512 // 每次读取512字节（256个采样）

bool recording = false;

void on_wakeup_detected() {
    printf("唤醒词检测到！开始录音...\n");
    recording = true;
    // 可选：暂停WakeNet以节省CPU
    disable_wakenet(sr_handle);
}

void audio_record_task(void *arg) {
    char mic_buffer[BUFFER_SIZE];
    size_t bytes_read = 0;
    int silence_count = 0;
    const int silence_threshold = 5; // 连续静音块计数阈值

    // 连续循环读取麦克风数据
    while (true) {
        // 阻塞读取一块音频数据
        i2s_read(I2S_NUM_0, mic_buffer, BUFFER_SIZE, &bytes_read, portMAX_DELAY);
        if (!recording) {
            continue; // 未触发录音就丢弃数据
        }

        // 将读取的数据通过 WebSocket 发出
        if (bytes_read > 0) {
            esp_websocket_client_send_bin(ws_client, mic_buffer, bytes_read, portMAX_DELAY);
        }

        // 简单静音检测：如果本次数据全是低幅值(接近静默)
        bool is_silence = check_silence(mic_buffer, bytes_read);
        if (is_silence) {
            silence_count++;
        } else {
            silence_count = 0;
        }

        // 如果连续多帧静默，认为讲话结束
        if (silence_count > silence_threshold) {
            // 发送特殊标志表示音频结束
            esp_websocket_client_send_text(ws_client, "<end>", 5, portMAX_DELAY);
            recording = false;
            enable_wakenet(sr_handle); // 重新启用唤醒监听
            printf("录音结束，等待回复...\n");
        }
    }
}

上述代码中，audio_record_task 会一直运行：平时 recording 标志为 false 时读入的数据直接丢弃（或可缓冲覆盖）；当唤醒发生时回调将 recording 置为 true，于是任务开始真正处理音频数据。

通过 i2s_read 从 I2S采集 BUFFER_SIZE 字节音频，每采集到一块，就用 esp_websocket_client_send_bin 发送二进制数据帧给服务器。这里假定已在别处初始化了 WebSocket 客户端 ws_client 并连接到服务器地址（例如 ws://<服务器ip>:<端口>）。ESP-IDF 的 WebSocket 客户端是线程安全的，可直接从任务中调用发送函数。

check_silence 是用户定义的函数，用于检查缓冲中是否绝大部分样本都接近零（可设定一个幅值阈值）。如果连续检测到若干帧静音，我们就认为用户停止了讲话。这时通过发送一条特殊的文本帧 “” 通知服务器音频流结束，然后把 recording 置回 false，表示本轮录音完成。还调用 enable_wakenet 恢复唤醒词检测，让设备准备接受下一次唤醒。

注意： 上述实现相对简单，实际应用中可能需要更健壮的 VAD 算法来准确判断讲话结束。另外，为了防止用户长时间讲话导致数据过多，可以设置最大录制时长，到点后强制结束。本示例省略了错误处理和资源管理（例如在结束录音后可能需要关闭I2S或重置缓冲等）。

4.3 与云端模型的交互并返回文本

当 ESP32 将语音数据发送到服务器后，接下来就轮到服务器端进行处理：把音频转成文本，交给大模型生成回复，再将回复发送回来。因此 ESP32 需要能接收服务器的响应数据。在流式方案中，服务器可能通过 WebSocket 发回文本回复；在简单HTTP方案中，则是 ESP32 主动请求获取结果。我们这里以 WebSocket 双工通信为例说明。

ESP-IDF 的 WebSocket 客户端支持接收服务器推送的消息。可以注册回调或在循环中使用 esp_websocket_client_receive 来获取数据。在本例中，我们假定服务器最终发送回来的内容是纯文本的对话回复（或者为了简便，也可以让服务器直接返回语音合成后的 MP3 URL 等，但初期我们用文本即可）。ESP32 收到文本后，需要在本地加以处理，如在串口打印或者显示在屏幕上，或者通过TTS播放出来。

以下是接收回复并处理的示例代码：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

// 简单起见，在主任务里轮询接收服务器消息
char recv_buf[256];
for (;;) {
    int32_t rlen = esp_websocket_client_receive(ws_client, recv_buf, sizeof(recv_buf) - 1, portMAX_DELAY);
    if (rlen > 0) {
        recv_buf[rlen] = 0; // 以NULL结尾形成字符串
        if (strcmp(recv_buf, "<ack>") == 0) {
            // 服务器确认收到音频的应答，可忽略或用于统计
            continue;
        }
        printf("云端回复: %s\n", recv_buf);
        // 将回复显示到OLED屏幕（伪函数）
        display_text_on_screen(recv_buf);
        // 可选：调用本地TTS播放语音（此处省略）
    }
}

这个循环会一直等待 WebSocket 的消息。esp_websocket_client_receive 阻塞等待服务器发送的数据。收到后，我们检查内容：如果是预定义的控制消息（例如这里假设服务器可能发 “” 表示收到结束标志），那么不做处理；否则将其作为正常回复文本处理。通过串口打印出回复，并调用一个假定的 display_text_on_screen 函数在OLED上显示该文字。实际实现中，您需要用相应的屏幕驱动 API 将文字绘制出来（如使用 SSD1306 驱动或 LVGL 库）。

如果您希望机器人语音回答，可以在ESP32上集成一个简单的本地TTS（ESP-SR 框架本身带有简易的中文语音合成功能）或让服务器直接返回合成后的语音（例如 MP3 文件 URL 或音频流）。初始阶段为了专注核心，我们先不处理TTS。

至此，ESP32 端的主要代码逻辑已经完整：等待唤醒→录音上传→接收回复→输出结果→循环等待下一次唤醒。接下来，我们看看云端服务器该如何部署大模型来配合工作。

5. 云端部署

云端（或本地PC服务器）在整个系统中承担了重型AI计算的任务，包括语音识别和对话生成。根据硬件条件和需求，您可以选择自建服务器或使用云服务。本节将介绍如何连接大语言模型，以及如何搭建服务器端程序来实现智能对话。

连接大语言模型 (DeepSeek/Qwen 等)

大语言模型的选择取决于您的资源。对于中文对话，比较好的开源选择有阿里巴巴的通义千问系列(Qwen)和衍生的DeepSeek模型。如果有足够算力，您可以在服务器上直接运行开源模型实例。例如，使用 Hugging Face Transformers 加载 DeepSeek-R1 Distill (基于 Qwen-7B) 模型，然后在本地执行推理。伪代码如下：

1
2
3
4
5
6
7
8
9

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-7B")
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-R1-Distill-Qwen-7B", device_map="auto")

# 假设已经得到用户输入文本 user_text
input_ids = tokenizer.encode(user_text, return_tensors="pt")
output_ids = model.generate(input_ids, max_length=200)
response_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)

上述代码会生成 response_text 作为回复。但需要注意，这对7B模型至少需要十几GB显存或使用CPU耗时较长，因此如果硬件有限，不妨考虑调用在线API服务。

另一种便利的方法是使用模型提供方的云API：例如阿里云的通义千问提供了 DashScope API，可以直接通过 HTTP 请求获得回复，无需本地运行模型。您只需在阿里云申请 API Key，然后按照文档构造请求（通常是一个包含会话历史的 JSON）。以下是使用 DashScope SDK 的伪代码：

1
2
3
4
5

from dashscope import Completion

Completion.api_key = "<你的通义api key>"
response = Completion.create(prompt=user_text, model="qwen-plus")
answer_text = response.completions[0].text

利用在线大模型服务的优势是省去了部署模型的麻烦，而且一般响应速度快、效果好。不过要考虑到接口的使用费用或调用频率限制。

无论采用哪种方式获取对话回复，都应该注意实现上下文管理：即让模型记住之前的对话历史，从而实现连贯的多轮对话。这可以通过每次调用API时在 prompt 中附带前文对话，或使用模型的对话模式接口来实现。在DeepSeek/通义这样的模型中，一般支持多轮对话，只需将历史问答拼接即可（或在 API 参数中传递 conversation_id 等）。

调用语音识别 API

在让大模型理解用户意图之前，我们需要将音频转成文字。这里我们使用之前准备好的 SenseVoice 模型服务。假设您已在服务器上运行了 SenseVoice 的 API（例如本地 FastAPI 服务，端点URL为 /asr），ESP32 发送的音频通过 WebSocket 或 HTTP 转发给该服务进行识别。

如果采用我们上节的WebSocket方案，服务器可以在收到 ESP32 的音频帧后，将其拼接或直接送入语音识别引擎进行流式识别。阿里的 SenseVoice 支持长语音转写和多语言，可以逐步输出转写结果。简化流程如下：

1. 服务器收到音频数据帧，缓存至音频缓冲区。如果检测到结束标志””，则将缓冲区音频送入 ASR 引擎。
2. 获取到完整的转写文本 user_text。
3. 调用大模型生成 answer_text。
4. 通过 WebSocket 将 answer_text 发回 ESP32。

在实现中，可将步骤1-4集成在服务器的一个事件循环或多线程处理里。您也可以选择不等音频结束就边识别边生成，但那会复杂许多（需要分段、多段上下文管理，这里不深入）。

服务器端搭建 AI 服务

您可以用任意擅长的语言编写服务器。例如，用 Python 的 websockets 库搭建 WebSocket 服务，收到二进制音频后调用 Python 接口处理。这需要加载 SenseVoice 模型和大模型，可能耗时，建议在服务器启动时就加载好模型到内存，避免每次请求重复初始化。以下是服务器伪代码框架（Python）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

import asyncio, websockets
from sensevoice import ASRModel # 假设封装好的识别类
from your_llm_api import LLMAPI # 假设封装的大模型调用

asr_model = ASRModel.load("SenseVoiceSmall") # 加载识别模型
llm_api = LLMAPI(api_key="...") # 初始化大模型API

async def handle_client(websocket, path):
    print("客户端已连接")
    audio_bytes = b""
    async for message in websocket:
        if isinstance(message, bytes):
            # 累积音频数据
            audio_bytes += message
        elif message == "<end>":
            # 收到音频结束
            user_text = asr_model.transcribe(audio_bytes) # 语音转文本
            print("识别结果:", user_text)
            answer = llm_api.ask(user_text) # 调用大模型获取回复
            await websocket.send(answer) # 发送回复给ESP32
            audio_bytes = b"" # 清空缓冲，准备下一次对话
        else:
            # 处理其他控制消息，例如心跳/确认
            await websocket.send("<ack>")

这个简化的服务器逻辑中，我们使用 async for 来持续监听来自某个客户端(ESP32)的消息。如果收到的是二进制数据，则累加到 audio_bytes 缓冲。如果收到文本 “” 则表示一段语音结束，遂调用 ASR 将整个音频转为文字，然后把文字传给大模型接口获得回复，最后通过 websocket.send 将回复发回客户端。然后清空缓冲等待下一轮交流。这里还示范了收/发 “” 之类的控制信息的处理。实际应用中，应考虑异常处理（如网络中断）、识别超时等情况。

通过上述服务器的配合，我们的 ESP32 语音机器人基本功能就完成了：当你对着麦克风说“小智小智”（假定这是唤醒词），ESP32 检测到后开始录音，并把你的话通过网络发送出去；服务器将你的语音识别为文字，再由大模型生成回答“好的，我在呢”（示例），服务器将回答发送回 ESP32；ESP32 接收到后在屏幕上显示出来，并通过扬声器播报出来。整个过程接近实时，并且可以多次轮询，实现连续对话。

6. 优化与扩展

在基本功能实现后，我们可以对“小智”机器人进行多方面的优化和扩展，以提升体验和性能：

提升本地计算能力

虽然 ESP32 性能有限，但我们可以通过一些技巧优化运行效率。例如，使用缓存机制：针对用户经常询问的问题，可以在ESP32端缓存上一次的回答，若短时间内再次询问相同问题，可以直接回复缓存结果而不必每次都请求云端，从而降低延迟和流量。另外，尽量利用好 ESP32-S3 的硬件加速功能，如采用定点运算或使用 ESP-DSP 库优化音频处理。对于云端的大模型，可以考虑模型蒸馏或量化来加快推理速度。例如将原本大的模型压缩为更小的参数，这也是 DeepSeek 提供蒸馏模型的思路。量化后的模型（如 INT8/INT4）在GPU甚至CPU上的推理速度会有明显提升，使对话响应更快。同时可在服务器端对相似的问答进行缓存，减少重复计算。

增强离线功能

目前我们的机器人主要依赖云端AI，但是我们可以赋予它一定的脱机能力。首先，ESP32 上的 MultiNet 命令词识别模块可以识别一些常用指令词离线运行。我们可以预先定义一组本地指令（例如：“播放音乐”、“停止”、“音量大一点”等）并训练相应模型烧录进ESP32。这使得即使断网，机器人也能执行简单指令控制。此外，可以加入简单的本地问答库或规则，例如对于固定的问题（天气、时间）在ESP32存储预设答案，这样在无网络时也能回答部分问题。更高级的，可以在ESP32上运行一个超小型的语言模型（例如基于 Edge Impulse 或 GPT2-tiny 等），用于应对非常简短的对话。不过由于设备限制，这类模型智能性有限，主要作为备份。在应用中，可以设置策略：优先调用云端AI，若不可用则退而求其次使用本地能力应答。

显示屏交互扩展

为了让“小智”更生动，我们可以充分利用 OLED/LCD 显示屏来丰富人机界面。例如，在屏幕上显示对话文字的同时，可以加入表情或头像来指示机器人状态：听的时候显示“耳朵”图标，思考时显示“加载中”动画，说话时显示“嘴巴”或表情变化等。如果使用的是彩色屏幕，可以绘制一个卡通头像，小智在不同状态下的表情（睁眼/闭眼/说话）变化，从而使机器人更具亲和力。技术实现上，可以预先加载几张位图或者使用简单的绘图指令组合出表情。在 ESP-IDF 中可以结合 LVGL 图形库实现精美的 UI 界面，包括文本、图像和动画效果。触摸屏设备还可以扩展触控功能，例如加一个“对话历史”查看或功能菜单。除了屏幕，您还可以增添LED指示灯（比如 RGB LED 显示不同颜色代表正在录音或思考）或者蜂鸣器音效提示用户进行交互提示。

语音合成输出

虽然本教程侧重文字输出，但让机器人“开口说话”无疑会提供更直观的互动。在 ESP32 上实现文本转语音(TTS)有几种方案：可以利用 ESP-SR 自带的简易 TTS 模块生成中文语音；或者占用稍多资源，集成一个轻量级的 TTS 引擎（如科大讯飞离线TTS SDK，不过对Flash和RAM要求较高）；再或者走云端，由服务器把回复文本经过 TTS 合成后，以音频文件发送给 ESP32 播放。最后一种方式对ESP32 压力最小，只需接收和播放音频即可。在具体实现时，可以在服务器端调用诸如阿里云易音识别、微软Azure TTS等云服务，将回答文本转为语音，然后ESP32通过HTTP获取 MP3文件，使用集成的音频解码器播放。若追求本地纯离线，也可考虑安装一个小型MP3解码库，将服务器传来的MP3数据用 ESP32 解码输出至扬声器（ESP32有足够能力播放中等码率的MP3）。语音合成的声音可以自定义，让小智有独特的音色。

其他扩展创意

小智机器人可以结合更多传感器和功能模块，实现丰富的玩法。例如，加入摄像头模块（ESP32-S3支持连接摄像头），配合云端的视觉识别，实现看图对话或人脸识别后的个性化对话；或者集成舵机作为“头部”，让机器人朝向发声方向转动；添加触摸传感器或按钮，让用户可以用触摸来激活对话等。此外，如果追求更强的AI本地能力，可以关注乐鑫新推出的 ESP32-P4 等更高性能芯片或者结合Edge AI加速器来运行部分模型。对于软件层面，也可以将当前方案与其他开源框架集成，例如接入 Home Assistant 平台，实现家居语音控制；或使用 LangChain 框架设计机器人的对话流程和工具调用能力，让小智不仅能聊天，还能帮忙查询资料、控制设备。

通过以上优化，小智 AI 机器人将变得更加实用和智能：在联网时，它是一个功能全面的语音助手，能聊天、查信息、控制家电；离线时，它仍具备基本的指令识别和交流能力。不仅如此，借助ESP32的开源生态，您可以不断为小智添加新功能。在实践过程中，请充分利用社区资源：参考官方示例、查看类似项目源码，这将有助于您更深入地理解实现细节并排除开发中的困难。

结语

恭喜您完成这个从无到有的项目！通过本教程，我们学习了 ESP32 上语音唤醒的原理，搭建了语音对话硬件平台，编写了嵌入式代码将语音与云端AI连接，并了解了如何部署强大的大模型服务来实现智能对答。对于初学者来说，这是迈向物联网 AI 世界的重要一步。当然，受限于时间和篇幅，教程中的很多模块都是简化的，但希望这份详细指南为您理清了思路。在实际开发中，您可能会遇到各种挑战，比如噪声环境下识别率、网络延迟导致的响应速度、不同模块兼容性等，不要气馁，多查阅资料、多尝试调优。借助开源社区的力量，您的“小智”一定可以变得越来越聪明。期待您为它赋予更多有趣的技能！祝您玩得开心，在 AI 创作的道路上不断进步。

参考文献

• Espressif Systems, ESP-SR 开源语音识别框架 – 模块组成及功能
• RoboticsCV, 嵌入式设备语音唤醒和识别原理 – ESP32-S3 AI指令和 PSRAM 优势
• Espressif GitHub, ESP-BOX 技术架构 – WakeNet 唤醒词模型工作机制
• Fabrik, ESP32 实时语音助手项目 – WebSocket 音频流传输架构
• Hacker News, 本地 LLM 语音助手实现讨论 – ESP32 建立 WebSocket 及音频传输流程
• Hacker News, ESP32 语音硬件建议 – 优选 I2S 数字麦克风避免模拟麦克风噪声
• CSDN 博客, ESP-Skainet 语音唤醒教程 – ESP32 上唤醒词和命令词识别案例
• 阿里达摩院, SenseVoice 开源项目 – 多语言语音识别模型简介及能力
• DeepSeek 项目说明 – 开源大型语言模型性能及开放版本
• VocaMirror 开源项目 – 通义千问(Qwen) API 使用示例