• 时讯中国网
  • 设为首页 设为首页 收藏 收藏本站
  • 1
  • 时讯中国网
    财经
    您现在的位置: 首页 > 财经 > 声网凤鸣AI引擎正式发布涉及AI降噪、AI回声消除等功能
  • 声网凤鸣AI引擎正式发布涉及AI降噪、AI回声消除等功能

  • 发布时间:2023-03-24 14:06:35  来源:TechWeb  阅读量:14460   
  • ,今日,声网正式发布了囊括AI降噪、AI回声消除、空间音频、最佳音效在内的声网新一代音频技术智能引擎。目前,该技术已经广泛应用在语聊社交、在线K歌、线上会议、游戏竞技、虚拟活动等诸多场景。

    据介绍,通过AI驱动的方式,声网打通了音频采集、前后处理、云端传输、编解码等链路。

    AI降噪

    凤鸣·AI降噪在强降噪的同时还能兼顾高保真,即使在人声密集场景下,也能实现纯净通话体验,甚至还实现了在不增加额外运算量的前提下,对远场语音具有明显的混响抑制能力。如果用户在一个房间中距离麦克风较远,这时候对方听到的声音是模糊的,若使用了声网的AI降噪算法,对端也能清晰地听到该用户的声音。

    此外,声网自研的AI推理引擎还可以使得AI降噪算法在Android、iOS、Mac、Windows、Web等主流平台以低精度损伤、高性能、低功耗方式运行,使用户的设备不卡不烫。声网表示,经数据测算,仅开启凤鸣·AI降噪功能,相应设备CPU消耗增幅平均值lt;1%。

    AI回声消除

    回声是影响音视频通话质量的主要因素之一,尤其在线上会议、在线K歌、多人连麦等场景中,不仅损害通话质量,影响用户体验,还可能导致带宽增加。声网方面称,凤鸣·AI回声消除利用算法对环境中产生的回声混响进行有效抑制,智能适应各类环境,实现精准音源分离,从混合的近端信号中消除不必要的远端信号,保留近端人声发送到远端,全面消除回声,实现高保真音频体验。比如,在双人合唱等在线音乐场景下,AI回声消除可以使得人声自然流畅,增益效果显著。

    空间音频

    据介绍,凤鸣·空间音频通过纯软件算法方案,模拟头部球面区域立体声场,利用范围音频、人声模糊、空气衰减模拟等能力,模拟现实听觉感受。当用户操作相应角色在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果。

    空间音频是元宇宙和游戏这类具备3D场景玩法的最佳搭档,如狼人杀、虚拟演唱会、虚拟活动等场景,可以有效的增强用户在线上的互动、听觉体验,重构用户在虚拟世界的沉浸感与临场感。同时,开发者不必担心空间音频功能对于用户设备的影响。

    声网方面披露的数据显示,开启凤鸣·空间音频功能后,相应设备CPU消耗增幅平均值lt;0.7%,内存消耗增幅平均值lt;2M。

    最佳音效

    据悉,声网目前已上线的最佳音效包括语聊社交、K歌、游戏陪玩、专业主播等场景。

    据声网音频娱乐产品负责人杨帆介绍,凤鸣AI引擎目前正在开发变声这一功能,用户将可以体验20+变声风格,多样角色扮演花式玩转语聊场景。

    声网算法专家许冉指出,凤鸣AI引擎代表声网在RTC音频领域针对核心技术的长期投入和产出,以及声网基于音频核心能力衍生出各种复杂功能和高端效果的决心,未来声网将基于凤鸣AI引擎形成新一代RTC音频解决方案,比如探索更个性化的语音方案、语音超分、co-experiencing场景等。

    音频社交的下一站在哪儿?

    在圆桌讨论环节,仙巴科技创始人兼CEO薛达、扬帆出海创始人兼CEO刘武华、科大讯飞海外解决方案产品部产品总监吴浩亮、声网产品市场负责人朱超华及声网音频娱乐产品负责人杨帆,共同谈及了音频社交行业未来的发展趋势。

    杨帆指出,音频社交近几年的市场规模仍在持续增长,依旧有广阔的发展空间,总体来说,音频社交的主要玩法集中在多人语聊房、1V1语聊、语音播客、游戏开黑等场景。薛达认为,作为用户之间情感的递进纽带,语音结合虚拟人以及类似ChatGPT这样的大模型,可能未来会带来一波新的社交热潮。

    在市场火热的前景下,音频技术的提升对行业来说可谓如虎添翼。正如薛达提到,降噪技术是实现元宇宙空间中用户体验的一个必不可少因素,因为一般娱乐场景中都会播放背景音乐,加上人声和互动音效,如果没有空间音频和降噪,那用户体验会非常差。吴浩亮认为,声音是打造差异化社交玩法的一个重要能力,在社交音频这个赛道上,大致分为音视频直播、音频内容生态,以及泛娱乐音频三个类型,音频技术能力的提升可以有效助力业务端提升用户体验。

    不仅国内市场火热,大量出海企业也押注音频社交这一赛道且扎堆中东、东南亚市场,刘武华认为中东市场这种大R市场天然契合音频社交的商业变现形态,而东南亚市场年轻用户多,社交需求旺盛又热衷于尝试新鲜事物,且这两个市场已有成熟的产品形态和产业链。此外,吴浩亮提到,东南亚和中东市场目前还处在快速发展阶段,市场机遇大、用户基数大,但还没有绝对的寡头形成,较之前传统社交类型来讲,音频社交的留存能力也较高,企业需要在用户感兴趣的窗口期尽快实现转化。

    谈到音频社交的未来趋势,刘武华表示,社交+游戏、社交+元宇宙、社交+AIGC这几种玩法有不错的发展空间和前景。杨帆也认为,元宇宙方向的场景会更受年轻人青睐,另外AIGC配合语音转文字等应用,应该也会带来一波新AI音频社交热潮。

    声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

    上一篇:200万年薪招聘算法工程师AI人才薪酬再创新高
    下一篇:返回列表
  • 网罗天下
  • 普惠金融进乡村!宁夏银行金融活水助力春耕备耕 普惠金融进乡村!宁夏银行
  • MacBookAir将被重命名为“MacBook” MacBookAir将被
  • 三文鱼当中富含了哪些人体需要的营养? 三文鱼当中富含了哪些人体
  • 华为鸿蒙加持,AITO能否让赛力斯高端起来 华为鸿蒙加持,AITO能
  • 2022款江铃皮卡域虎7售价10.48万元起 2022款江铃皮卡域虎7
  • 纪录电影《冰上时刻》即将上映 关注冰球少年家庭亲子成长历程 纪录电影《冰上时刻》即将
  • 新疆:冰雪旅游点燃寒冬热情 新疆:冰雪旅游点燃寒冬热
  • 运筹帷幄定基调,步调一致向前进——2021年中央经济工作会议侧记 运筹帷幄定基调,步调一致
  • 迪奥彩妆披上千鸟格外衣,废弃羽绒服做成椅子什么样? 迪奥彩妆披上千鸟格外衣,
  • 置业指南:盘点蔡家区域12月部分新开楼盘 置业指南:盘点蔡家区域1
  • 首页 | 新闻 |财经 |娱乐 |汽车 |时尚 |房产 |健康 |数码 |
  • Copyright @ 2012- All Rights Reserved 版权所有:时讯中国网  备案号:皖ICP备2022015281号  网站地图
    欢迎广大网友来本网站投稿,网站内容来自于互联网或网友提供  邮箱:bgm1231@sina.com