日科学家研发全新交互技术 用人工智能给图像配乐

2018-06-12     科技日报     访问次数:0

      据遇见人工智能报道,近日,日本研究人员通过一款叫“Imaginary Soundscape”的网络应用程序,使用机器学习技术,为用户上传的图片和最符合的音频配对。


  在该项目页面中,用户上传一张图片,然后进入另外一个页面,显示上传的图片的同时,就会播放出经过AI算法匹配后的背景音乐。例如,上传日本的渔船木刻,系统会匹配波浪和水声;加载一幅抽象的夜莺画作,人工智能会为之搭配一首有风铃和鸟叫的背景音乐。更有意思的是,当用户上传的图片是一些稀奇古怪的元素时,系统反馈的配音也会带来惊喜,比如将擎天柱与拖拉机的声音配对。


  该系统是一个相对简单的AI算法的产物。它使用物体识别技术识别出图片中的元素,然后将这些元素与超过52000个声音文件的数据集进行匹配。该系统的研究初衷是让音频与Google街景视图中的图像匹配。不过,该系统并不完美,比如模糊识别会造成错误,而声音数据库尚不完整。但它仍是AI支持新型创意表达的绝佳示例。