汕大老师做VR播放器 立体声音频一键录入 实时“渲染”为动态声场
◆联合创始人张婷婷还是广东时代美术馆的策展人助手、艺术家助手。
文| 铅笔道 记者 杨博宇
十年前,张婷婷还是一名实习生,在法国蓬皮杜艺术中心的声学与音乐合作研究所做毕业论文。她在那里见识了科学家和艺术家的合作,意识到声音和人之间不仅仅是“听”的关系,更是一种双向互动。
回国后,她在华南理工大学声学研究所继续硕士研究生学业,完成关于空间虚拟声技术HRTF的毕业论文。之后,她从没停止对音频体验和声音交互的思考。
“难道我们就只有立体声和环绕声吗?”在这两者之外,张婷婷一直想尝试“发出”不同的声音。
去年6月,张婷婷、王杰、林云帆联合创立创声科技——一家专注于VR音频技术及产品研发的创业公司,为音(视)频制作者和企业提供VR动态声场的解决方案和音频产品。
目前,创声科技研发的VR播放器及VR动态声场解决方案已经上线;动向耳机已完成原型开发,并计划年内量产。
注:张婷婷承诺文中数据无误,为其真实性负责,铅笔道已备份录音速记,为内容客观性背书。
去年上半年,VR风口起来时,数娱科技CEO、录音师林云帆找到张婷婷和广州大学音频技术专家王杰教授,提议三人一起从事VR音频产品的开发。
在此之前,张婷婷曾就职华为从事基站物理层算法研究,之后作为合伙人参与得易电子科技有限公司的创业,负责专业音频处理器研发。这两段经历不仅为日后研发VR音频产品作了准备,更让张了解到一家现代企业是如何管理的。
2013年,她任教于汕头大学长江艺术与设计学院交互设计专业,研究声音观念及装置和交互机制。任教期间,常有影视和音频行业的朋友向她询问VR音频的相关情况。
因此,当老朋友林云帆向她提议时,她很快便答应了。根据专业知识,她判断这件事可行,并认为这是个推出全新体验的音频产品的好机会。
张婷婷、王杰和林云帆对业内已发布的产品进行调研,发现目前市场上的VR音频产品集中在制作端,如全景录音麦克风等,但制作出来的音频内容在双声道重放时仍然是普通的立体声或双耳信号,并没有动态效果。“就像是你不能用VCD去播放DVD一样。”
去年6月,张婷婷、王杰和林云帆正式组建团队,成立创声科技。他们试图从重放端入手,解决VR动态声场的问题。
◆创声科技项目团队
为了在重放端让声音“动”起来,团队开始了大量的实验研究。他们根据已被学界承认的双耳听觉原理,结合快速实时卷积算法,研发了DSVA技术——可实时合成动态三维空间中任意方位的声像,并围绕此技术申请了5项发明专利。
基于此,今年年初,团队开发出具备动态声场重放功能的VR播放器。这款VR播放器根据手机的传感器方位数据,将影片中的普通立体声音频或环绕声音频,实时“渲染”为动态声场,让用户获得与画面一致的声音方位感。这样一来,内容制作方在音频制作上,不需要为VR改变任何他们已经熟悉的技术、流程和设备。
这款VR播放器可在安卓系统4.2及以上版本使用,暂时只接受定制,客户主要是VR视频制作者。目前,团队已为数享文化提供VR内容制作的音频服务。
此外,VR播放器的音频处理模块也可移植至其它各种平台,“创声科技也可通过技术授权来获得收入”。
但在和某电视厂商合作过程中,张婷婷发现,研发层面的对接非常困难。对方企业管理严格又复杂,就算仅是开个接口,都需要向各个部门报批,进展缓慢、推进困难。
这次经历让张婷婷下决心自己做硬件。基于耳机与用户的联系最为紧密,团队推出了创声动向耳机。
这款耳机内置运动传感器检测用户头部的运动,专业音频处理芯片搭载DSVA技术,为用户提供动态声场。
目前动向耳机已完成原型机开发,并与深圳市三诺电子有限责任公司达成生产合作意向。产品预计今年年内发布,预计售价在600~1200元。此外,另一款智向声匣产品也在设计之中。
谈及未来规划,张婷婷及其团队希望通过人工智能和大数据优化产品体验,例如增加智能降噪、智能音量调节等功能,另外也希望把VR播放器搭建为VR音(视)频的内容入口。
现阶段,创声科技正寻求300万元天使轮融资,资金主要用于动向耳机生产和市场推广。
【版权声明】:本站内容来自于与互联网(注明原创稿件除外),如文章或图像侵犯到您的权益,请及时告知,我们第一时间删除处理!谢谢!