有什么能够在嵌入式平台实现的语义识别方案吗？智能家居场景

会飞的猪_2020

想通过语音去控制智能家居场景的设备的控制。

例如：“打开电灯”“关闭电灯”，这是最基础的。
市面上很多模组都能简单的实现这种命令词的识别。


进阶一点就是要去识别语义
能听得懂：“打开电灯”，那么“电灯打开”也要识别,“灯亮一点”也要听懂。
不拘泥于固定的命令词，能够以一种更加自然，符合人的方式去控制。

在复杂一点需要能够识别固定的前缀
例如：“打开客厅的灯”，“在20分钟后打开厨房的灯”等等。



不知道是否有什么方案厂商，或者模组厂商能够实现上述语义识别的方案呢？
离线在线的皆可。成本也不是很敏感。

会飞的猪_2020

我用过“启英泰伦”的模组，感觉识别效果还是不是很理想。

同事用过“科大讯飞”的，他们说识别有问题。

然后现在在用“百度”的，感觉也不行，播放语音的时候，去打断感觉效果很不理想。

eric2013

会飞的猪_2020 发表于 2024-12-31 09:55
我用过“启英泰伦”的模组，感觉识别效果还是不是很理想。

同事用过“科大讯飞”的，他们说识别有问题。 ...

如果可以联网的话，对接各种语音助手满足需求不，前几天还有个OpenAI官方发布了个对接乐鑫的模组效果展示。

会飞的猪_2020

eric2013 发表于 2024-12-31 11:19
如果可以联网的话，对接各种语音助手满足需求不，前几天还有个OpenAI官方发布了个对接乐鑫的模组效果展示 ...

我刚才去搜索引擎了解一下，大模型有一个叫function call的功能。

如果嵌入式平台接入大模型之后也能用这个功能，估计是可以的。

会飞的猪_2020

会飞的猪_2020

我看到homeassistant上接入大模型控制智能设备的用法。

就是不知道他们是怎么实现的。

会飞的猪_2020

我感觉应该是可以的，但是不知道怎么把对话转换成固定的命令。
然后每次设备掉电之后，下一次重新上电连上去，又能保存之前的上下文，不用重新再去教一遍。
然后每次输出回应要一样，例如打开电灯，这次是“turn_on_light”，下次不能是别的，不能有差别。

我不知道这些方面如何保证。

会飞的猪_2020

我觉得这些做大模型的公司，肯定是能做到这方面的效果的。如果他们来实现的话，家居就能变得很智能。而不是像现在这样子死板。

会飞的猪_2020

https://www.volcengine.com/docs/82379/1262342

星辰大海

B站有个叫Kevincoooool的UP，有个小智语音，感觉好丝滑

会飞的猪_2020

星辰大海 发表于 2024-12-31 18:57
B站有个叫Kevincoooool的UP，有个小智语音，感觉好丝滑

他那个是对接大模型的。好像和我的需求不一样。

会飞的猪_2020

昨天上班找了一天。。
我也不打算再纠结这个了，方案让公司他们来选。。公司选啥我就做啥。

我自己搞了一块开发板，业余时间有空的话研究来试试看。看看对接上GPT后能否实现控制智能家居。理论上我看Homeassists是可以的，单片机应该也是可以。就是不知道咋去实现的。

fxyc87

ST有这个方案，安装软件【NanoEdge AI Studio】即可，普通单片机即可识别。

会飞的猪_2020

最近又观察了一下。
感觉未来function call这个方案是可行的。

目前很多展示的demo已经有了。
https://github.com/users/xinnan- ... -esp32-server%7C480

就是目前function call这个功能，他自己本身无法保证完全是格式化输出的。在文档中会告诉你有潜在风险，需要用户再对格式做校验。
然后有时候会偷懒，或者会有幻觉。
https://github.com/users/xinnan- ... -esp32-server%7C548

不过感觉已经走对路子了。未来应该就是往这方面发展。期待有专用的智能家居的智能体的出现。

会飞的猪_2020

对于偷懒和产生幻觉这种问题。
我之前看到pikapython的作者，在玩智能体的时候它的方法感觉可行。
https://mp.weixin.qq.com/s/RtOT5VK2ONVmBwCyOCaNYA

就是主要的逻辑还是程序员自己用一个状态机去实现。但是状态机里面是去调用大模型的能力来输出。然后做校验，如果校验不通过让它继续修改去输出。

但是最好还是有专用的模型，能够一次性输出成功。如果要多次修改的话，那个延时可能无法在实际使用中被接受。

会飞的猪_2020

最近乐鑫要出一款和火山引擎联名的开发板
https://mp.weixin.qq.com/s/aNDJbwT26FbpvMYv0oppdA



果然要控制家庭设备，当一个本地中枢的话，需要Function Call..

然后又去百度了一下MCP是啥意思。。
貌似这个是让LLM学会使用各种工具的协议。。

如果类似这种方案能快速落地的话，对智能家居的体验来说应该会有一个很大的革新。