智能语音交互的概念

智能语音交互的概念2020年庚子年开了不太好的一个头,新冠疫情在全国开始蔓延,对各行各业都产生了很大的影响。“危”和“机”总是并存的,在我们审视这场灾难的同时,疫情也将深刻的改变人们的工作和生活方式。面对疫情大家肯定大量听到“测温”“消毒”“无接触”等等需求和对应的产品方案给此次疫情防控带来的帮助。智能语音先天的无接触特性,在本次抗疫斗争中发挥了巨大的作用,作为国家推进的人工智能核心能力的一个重要组成部分,智能语音行业势必将迎来新的发展机会。
本专题《智能语音》尝试总结梳理智能语音的相关内容,希望为大家了解智能语音概念,业务流程,能力现状,产业链提供帮助,涉及篇幅较多,会分为几个章节逐步更新完善。


随着人工智能各种应用的不断渗透,人们已经接触了越来越多的智能语音产品,从形态上可以简单的分为软件类产品和硬件类产品。


智能语音软件或SAAS类产品
微信、个人助理(Siri、小冰、Home、Alexa)、呼叫中心、智能客服等等。


(曾经智能语音外呼由于大量的AI客服通过骚扰电话进行广告推销,被大家深恶痛觉,但此次疫情期间智能语音外呼系统,辅助进行重点人群发热筛查和跟进随访,起到了相当明显的作用,降低的大量的重复工作量。)


微信转语音功能


智能语音硬件类产品


家居:智能音箱、智能电视、智能机顶盒等等
儿童:儿童机器人、智能故事机、智能学习机等等
随身:蓝牙语音TWS耳机、智能手表、智能翻译机等等
汽车:车载智能导航、手机智能支架、智能车载机器人等等
商务:智能录音笔、商务录音转写器、智能办公本等等


硬件智能语音产品


以上的产品形态,使用了智能语音当中全部或部分能力,以满足实际的业务场景需求。人们开始更多的认识和了解语音产品和语音技术,也知道了相关的语音技术供应商,比如科大讯飞,知道亚马逊的Alexa,知道了Google的Dialog Flow。了解语音行业的人,大多都知道了ASR是语音识别、NLP是自然语言处理。


哦,你是XX公司的,你们是做ASR的吧。(而内心的想法是,智能语音除了ASR其实还有很多技术能力;同样的我们希望把语音产品做好,需要涉及的工作也很多很多。)


智能语音不只是语音识别。


一次语音交互示意


以上是一次智能语音问答的演示,我们同机器(假设是智能音箱,忽略唤醒步骤)语音如下。


用户:“明天出门要带伞吗?”


音箱:“您好,成都明天晴,气温5-10℃,不需要带伞哦。”


人的听觉形成过程是将声能转变为机械能、再转为生物电信号,在听觉中枢加工、分析的结果。以上整个交互过程就涉及了机器需要“听清”“识别”“理解”“行动”“想话术”“播报”整整6个环节,类比“人”听到了同样的语音指令所需要进行的步骤。对应的智能语音主要技术领域就包含了“信号处理”“语音识别”“自然语言处理”“语音合成”4个主要方向。在每个方向上针对不同的应用场景,又有更多细分的业务能力。


智能语音是希望实现人与机器以语言为纽带的通信。我们的长期目标肯定是能够同机器像人一样的自由沟通,机器像人一样智能应答交互。多思考人与人做对话时的特征,再类比到人与机器的交互过程,我们还有很多工作要做。




鸡尾酒会效应


“听清”和“识别”


人类在听觉上是天赋异禀的,我们的人耳是一个很特殊的器官,可以分辨声音的方位和距离,感觉声音的远近变化,选择我们感兴趣的声音进行聆听。在灯红酒绿的鸡尾酒会上,即使周围有各种各样的噪音,尽管周围的人使用的是各自的母语,英文、西语、法语、葡萄牙语等等,此时,如果远处突然有人用中文叫你的名字时,你还是能够马上就注意到他,你甚至可以和他聊天,听到他说的内容,注意力集中在你和他的谈话之中而忽略背景中其他的对话或噪音。


而如果把机器放到同样的环境中,我们是很难从各种声音中找到需要机器真正倾听的声音,机器“听清”和“识别”在交互的开头就出了问题,后续的交互体验怎么保证了。


这个时候你也许会跳出来说,我试了手机上的语音识别感觉做的还不错啊,我在酒吧里发个微信还是能很好的识别,转换为文字。


声音是一种波,在传播中会不断的反射、折射、衍射、吸收,在任何场景中设备接收到的声音都会包含”需要识别的声音”、“不需要识别的的声音”。不需要识别的声音会是多元的,包含噪音、额外的人声、回声、混响叠加在一起,在不同的场景中会有不同的叠加效果,形成一个专有的声场,传入机器的耳朵(麦克风)中。
如上,我们称为机器所处的”声学场景”。曾经语音产品大多为手机里的APP,都是低噪音加近场,“信号处理” 很少提及。我们一般把声源和麦克风之间的距离在“半米”以内,称之为“近场场景”,大于“半米”的,称之为“远场场景”。我们需要不同的前端“信号处理”方案去适配不同的“声学场景”。


声学场景 = 需要识别的声音 + 不需要识别的声音(对应场景下的“信号处理”直接决定了语音入口体验。)


近场对比远场


在酒吧里发微信的场景,这是一个明显的近场应用。虽然其环境噪音很大,但是我们的发声源距离机器的耳朵(麦克风)很近,声学场景中“需要识别的声音”远大于“不需要识别的声音”,机器“听”的难度更低。而远场场景中,比如在机器人产品,机器人可能位于机场的候机厅、医院的导诊室、展厅的引导台、人满为患的餐厅等等。每一种机器与环境空间的相对位置变化都会形成不同的“声学场景”给机器“听清”和“识别”增加难度。


一个好的智能语音产品,“信号处理”和“语音识别”能力必然是针对其投放的“声学场景”深度适配优化后的,如此才能保障后续的语音交互体验。


语音交互 VUI


这里我们单独强调一个词叫做“语音交互 Voice User Interface”。


大家或许都知道User Interface,而没有听过VUI。在传统的人机交互中,我们都是通过图型的方式,进行强视觉弱逻辑的交互,也被称为GUI(Graphic User Interface);而VUI则是通过语音的方式进行人机交互,强逻辑而无视觉(或者弱视觉),我们要通过语音传递所有足够的信息,承载我们的认知、逻辑、价值、情绪等等一切元素,这才是真正赋予智能语音灵魂的部分,而前面提到的“听清”和“识别”只是VUI中的一部分。



语音交互VUI


完整的语音步骤包含以上多个步骤,而多次交互才能形成一次完整的语音交互。



我们先要“听清楚”对应的过程 “信号处理”,找出我们想要识别的语音信号;然后”识别”对应的就是语音识别,听懂对应的语音信号说的是啥,把声音转换为文字的过程,他说的是“明天出门要带伞吗?”;此部分作为语音的入口,识别可以进一步泛化为模式识别,基于“声学场景”和“语音”导入当前对话的语音对象所处的情景,声纹特征,性别,年龄,情绪等等更多元素。


知道内容了,然后就要理解要做什么,过程叫做“自然语言理解NLU”,他的意思是问我“明天”的“天气”,当前所在的城市是否“下雨”;理解了,之后就要去行动,查一查明天的天气,告诉他一些关键信息:成都、明天、晴、温度5-10度;行动完了之后,就要去想话术,怎么表达更好,不同的表达方式会给人不一样的交互体验,”他问的是带伞,那我肯定要对应的答复“,这个过程叫做自然语言生成,NLG;NLU+行动+NLG 对应的可以统称为自然语言处理,我们需要赋予机器以个性、逻辑、通识、对语音对象的理解、对上下文情景的理解等等都需要从NLP层面去渲染机器想要表达的思想。


想清楚怎么表达之后,就要播报说出来,采用不同的声音、林志玲的还是岳云鹏的,是温柔、知性、亲切的还是活波、可爱、俏皮的会带来不同的语音交互体验。如此形成单次的语音交互,反复以上完成智能语音交互的完整体验。


智能语音目前从技术上包含几大关键环节:


VSP信号处理:通过麦克风阵列进行“声学场景”的信号处理,研究方向上涵盖。降噪NS,对声学场景中的非语音噪音信号进行抑制;语音增强SE,从含有噪音的的语音信号中提取纯净语音;去混响DER,弱化混响引起的不同步的语音相互叠加、从而提升语音识别效果;回声消除AEC,去除语音交互设备自己发出的声音(播报、音乐等等),而只保留用户的人声;语音活性检测VAD,检测出一段音频中真正的语音部分;声源定位DOA,确定发声源的距离、角度等等;盲源分离BSS,从多个语音信号中分离出不同语音信号,例如不同的说话人声。


ASR模式识别:不局限于将语音识别为文字,更广的针对语音和音频的模式识别,研究方向上涵盖。ASR,通过将人类语音转换为计算机可读的输入,由特征提取、声学模型、语言模型组成,包括近场识别、远场识别,近年的应用中还涉及切分说话人、全双工语音等;声纹识别VPR,通过比对说话人声纹特征来判断是否为同一个人;语音唤醒WUW,在连续语流中实时检测出说话人特定片段,将设备从休眠状态激活至运行状态;特定声音检测,识别声音特征,检测音频流当中的特殊事件,例如检测婴儿啼哭,狗叫等等;情绪识别,识别声音特征中的性别、年龄、情绪等等元素;谎言识别等等。


NLP自然语言处理:自然语言理解NLU,基于词法分析、句法分析、意图提取和填槽获得语言的含义;对话管理DM,考虑历史对话信息和上下文的语境等信息进行全面地分析,承载机器的个性和逻辑状态,决定系统要采取的相应的动作,如追问、澄清和确认等;自然语言生成NLG,将机器输出的抽象表达转换为句法合法、语义准确的自然语言句子;内容知识库CMS,承载机器的通识,对于聊天对象的理解;知识图谱KG,同知识库结合,扩展机器的认知能力,获得更多相关信息等等。


TTS语音合成:把文字智能地转化为自然语音流,也就是输入是文本 ,输出是波形 ;近年个性化TTS、带有情绪的TTS成为热点。


以上我们对于智能语音有了概要性的认知,而人类大脑皮层每天处理的信息中,声音信息占20%,它是沟通最重要的纽带,所以人机对话将方便人们的工作与生活。因此当很多人问我们是做什么的时候,我们更愿意说我们是做VUI的,而非是做语音识别。


“智能语音交互”承载着更多的希望与寄托,时代的一粒沙,落在每个人头上就是一座山,让我们把它铸成堡垒。

本文原作者为,原文网址为,转载请注明出处!如该文有不妥之处,请联系站长删除,谢谢合作~

版权声明:
作者:机器人产业网
链接:http://www.jiqiren.org.cn/gongsi/813.html
来源:机器人产业网
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>