虚幻引擎 | （类恐鬼症）玩家和NPC语音聊天（上）

SETUP：工具和插件

工具：elevenlabs或者讯飞，用于Speech Synthesis（语音合成，text to speech）。

https://elevenlabs.io/app/speech-synthesis/text-to-speechhttps://elevenlabs.io/app/speech-synthesis/text-to-speech     elevenlab有10000字的免费试听额度

虚幻需要安装的插件(都支持虚幻5.0-5.4)： （以下插件非本人所著，1-3需付费购买，1-2结合使用，4必装）

1)Runtime Speech Recognizer （不免费） ：识别玩家通过麦克风讲的话，支持offline

• English-only and multilingual models available, with multilingual supporting 100 languages)
• Fast recognition speed （反应速度快）
• Optional translation of recognized speech to English (可以支持翻译机器人）
• NOTE: The images with plugin examples are made in conjunction with 2）RuntimeAudioImporter, although you may have your own implementation of audio input to be processed in RuntimeSpeechRecognizer.

2)Runtime Audio Importer（不免费）：导入录制的音频到引擎中

3)Offline Speech Recognition（不免费）

• No dependencies on other paid cloud services
• Easy to setup
• One time payment
• The server can handle multiple clients at the same time 支持多人使用
• No internet required 支持离线

4)VArest（免费）：REST通信（for the communication with API)

Speech to Text实现步骤：

示例使用Runtime Speech Recognizer和Runtime Audio Importer。

完成购买后，Runtime Speech Recognizer的插件document中提供copyable blueprint可供直接复制使用。

1）缺失变量报错：

Blueprint复制过来之后，（包括你从自己其他工程复制过来的蓝图）会出现由于缺失变量造成的报错，只需要右键set variable的部分（节点如下图），即可一键重新创建变量，报错就可以解决。

注意：在 UE 5.3 和其他版本中，可能还会遇到蓝图中缺少您复制的某些节点的情况。这可能是由于不同引擎版本之间节点的序列化/反序列化方式不同而发生的。为确保一切正常运行，请仔细检查所有节点是否正确连接。

2）blank audio报错

如果无法用笔记本麦克风语音输入，debug message会出现blank audio

详见：笔记本麦克风不能正常接入语音-CSDN博客

3）切换语言

系统设置：插件->Runtime Speech Recognizer中，可以把Model Language从English only切换成多语种

4）响应时间问题：

语言模型将所有答案一起传回，字数越多等得越久。

MetahumanSDK的文字to语音to口型，同样字数越多耗时越长，也受网速的影响。

到这条分割线以上，就可以实现和虚幻引擎编辑器对话了。

————————————————待更新————————————————————

5）文字识别准确性（避免空耳），stepsize调整录入时常，手动设置识别语言

step size Ms (millisecond)  5000ms为5秒。Determines how often to send audio data for recognition. 步长越小，意味着数据会更频繁地发送，延迟会变小，但这并不总是意味着“越小越好”，会缺失上下文影响。

插件白皮书：

https://github.com/gtreshchev/RuntimeSpeechRecognizer/wiki/3.-Recognition-parameter-list

————————————————上篇————————————————————

和NPC纯文字聊天。

游戏开发| Unreal5.2-5.4接入chatGPT定制游戏NPC-CSDN博客

————————————————下篇————————————————————

虚幻引擎 | （类恐鬼症）玩家和NPC语音聊天（中）-CSDN博客