【时讯】浙大AI“余音”来了！它要为亚运会会歌作曲

本篇文章2200字，读完约6分钟

在2022年第19届亚运会现场，你听到的会歌不仅传播不同国家的民族特色，还带有一点智能科学技术的新要素，突然充满热血和归属感吗？

多曲旋律结合并不容易，但作为浙江大学ai+艺术行业的一大成就——“余音”，正在努力实现这个目标，与参加的创作者们一起参加亚运会歌曲招募活动。

“余音”目前正在积极引进相关民族、体育等因素扩展音乐库，优化音乐算法，加快“亚运会歌”的创作。 将来也有可能应用于越来越多的音乐设计。 这样有艺术感的人工智能，到底是怎么给音乐带来力量的呢？

智能作曲过程的演示

可以组织各种国家风格的会歌

app，与酒店比较进行个性化推荐

杭州2022年第十九届亚运会音乐作品的第一阶段招募通道将于6月公开，浙江大学计算机科学技术学院副教授张克俊和他的团队也将带着“余音”参加这次招募活动。

“馀音”取自熟语“馀音迂回梁”，由浙江大学人工智能部共同开发，由共同创新中心、阿里巴巴-浙江大学尖端技术共同研究中心共同开发。 音乐制作的人工智能，只需导入视频、图像，即可自动生成符合相关情况的音乐。

以前，“馀音”队引进过亚运会“三宝”的照片和视频进行音乐的生成。 两分钟后原创歌曲诞生了。 歌曲风格轻快开朗，与“三宝”青春洋溢的形象一致。

“馀音”小组的负责人张克俊副教授说:“现在《馀音》识别视频中的状况相关属性，根据现有系统数据中的音乐素材创造适合视频状况的音乐，用音乐将以前的无声视频文件合成为有声视频( vlog )，

馀韵平台主页+馀韵功能展示

团队现在将智能音乐制作中使用的乐器限定为钢琴、吉他、贝斯、弦乐、鼓五种。 这也是现在音乐中经常使用的乐器组合，“大部分是3~5种组合，但之后亚运会歌曲的制作将适应越来越多的民族乐器要素。 ”。

五年前，团队开始积累中国的民乐数据。 现在有更全面的“民族音乐库”。 最近，“馀音”团队收集了东南亚、韩国、日本等国家的民族特色音乐。

“除了多乐器音乐的生成，我们还试图在创作中融入国家特色，应用于亚运会相关app，如酒店、饮食、体育会场等相关app，提供个性化定制服务”。 团队希望“余音”能在所有国家的人都在异乡，采用软件，进屋的时候听“专用的亚洲音乐”，感受自己风格熟悉的旋律。

除了民族音乐，还继续收集奥运会“我和你”“hand in hand (牵手)”、花样游泳、啦啦队等有代表性的体育歌曲，谋求会歌风格的融合。

小组期待:“《余音》取得初步成果后，能与亚运会官方进一步表现信息，创作出让大家满意的作品。”

馀音生成的团队实地参观中国风的视频

音乐产生“万花筒”

我只需要一张视频和图像

现在“馀韵”还是研究型产品，从数据库中搜索或生成音乐剪辑的步骤非常迅速，只需要几秒钟。 但是，合成有声vlog需要时间，“如果导入vlog是1分钟，则最终版的有声vlog的导出也需要1分钟左右，系统合成速度与视频时间相关联”。

“馀韵”识别的应用情况分为两个阶段，首先是浅层理解，根据图像和视频中含有的第一颜色和亮度来播放音乐。 “比如亚运会的三宝《江南忆》色彩明亮，与之对应的音乐一般都很开朗活泼。 ”。

而且，“馀韵”需要识别物体和人物的优势、状态等消息。 团队希望系统关注物体运动变化的关键帧，分解节奏点等重要属性来驱动音乐的搜索和生成。

但是，在实际场景中，“现在的“馀韵”在第二步的精度和效率还没有提高。 ”。 但是，随着“馀韵”训练数据的积累和算法的优化，这些问题有望逐步处理。

另外，“馀音”可以根据大数据，有效地计算常用和弦、百乘和弦等，发现潜在的“乐理”，促进乐理论的迅速发展和应用。

“现在ai音乐生成的机制就像万花筒，短时间内可以生成上万首音乐，但控制性还不好”的团队建议，如果把曲子分割成四部分，各个旋律可以单独听，但在一起可能会很突然。 因此，在生成有声vlog后，有时需要进行必要的人工润色。

“馀音”将参加第二十二届中国国际工业博览会院士创新成果展

“馀音”队功夫很深

年底产品也将从实验室出来

团队中的很多学生都有音乐相关的有趣和特长，“‘馀韵’团队共有21人，其中大部分来自计算机科学和技术、数字媒体、设计学相关的专家。 ”。

有兴趣的是“团队的大部分成员也有乐器、乐理相关的基础，可以‘唱歌’，也可以自己组建乐队！ ”。

“近年来，ai作曲进入大众视野，团队的研究方向也从感情分解扩展到音乐感情生成，因此，年上半年以后，“馀音”逐渐从实验室开发出来。 ”。

关于之后的迅速发展，该团队制定了很多预想计划:“随着‘馀韵’的精度、效率、稳定度的提高，应该会在1年左右离开实验室，进入市场。”

现阶段，“馀韵”的乐曲编排、音色混编、并木导出等部分事业需要通过人机交互进行。 小组表示，希望将来与视频制作企业、作曲家和相关行业合作，获得越来越多的经验知识，进一步减少人工参与，提高ai作曲的“智力”。

在浙江大学人工智能事务部部联合建设协同创新中心、阿里巴巴-浙江大学尖端技术联合研究中心的支持下，“余音”团队通过人工智能将音乐艺术能力化，提高机械工作的完成效率和准确性，进而与创造者一起更加专注于创造性的工作， ”。

复印来源:钱江晚报·； 时间信息“机器人也来亚运会唱歌了吗？ 看看《馀音》怎么唱"

(记者王湛通讯员黄子洋可溢能)

原题:“浙大ai“馀韵”来了！ 必须为亚运会的歌曲作曲”

阅读原文。