新年伊始,2024山东新年文艺晚会音乐专场在山东省会大剧院歌剧厅举办。此次晚会在音乐中结合AI技术展开大胆实验,上演9部不同风格的电子音乐作品,涵盖脑电情感计算、表情情感识别、AI生成视觉、红外体感控制、机器狗听觉、数字人指挥、虚拟歌手等多种前沿科技形式和创新成果。
音乐与AI技术的交融配合,皆由中央音乐学院人工智能团队担纲,山东艺术学院交响乐团及青年合唱团分别担任交响乐演奏和合唱,共同从视觉、听觉、动觉层面交互创造了一场多维时空意象的沉浸式音乐体验,也带来了传统音乐与数字化科技跨界联动的全新突围与创新表达。
智能作曲系统能够在23秒内快速创作出一首歌曲,管弦乐作曲系统还能快速生成多声部乐队作品。音乐会序曲《欢迎》《千里江山图》均由央音人工智能作曲系统创作而成,并通过数字人指挥的形式进行现场呈现。《千里江山图》在传统与现代激荡交融的音乐中进行视觉化呈现,《高山流水》在全景环绕的声效下结合3D复原的传世名画进行数字化演绎,情景交融、虚实相生的叙事中,“音”与“画”诉说着一场无形的“博弈”。
为双古筝与虚拟乐团而作的《繁星散落的夜晚》是在3D音频回放系统中创作的沉浸式多媒体音乐作品。表演者在演奏中应用了基于AI技术的新型虚拟乐器MuGeVI(A Multi-Functional Gesture-Controlled Virtual Instrument),该技术使用深度神经网络模型,通过对古筝演奏家的关键点检测,获取手势信息并对音乐中不同声部进行实时控制。同时,创作者还试验性地加入了人工智能协奏系统,即通过对指定乐器的声音识别来预设现场协奏声部,并可以根据演奏家的状态实时调整声部间的互动关系。
“时间”与“空间”的多元交互,“传统”与“现代”的融合激荡,带来了本场音乐晚会不同于以往的意象。舞台被高度抽象化为一个色彩斑斓的异质空间:立体环绕与遥控变换的声音呈现、点线面穿插的数字化几何光束构形、虚拟隐喻的UR布景装置将音乐艺术抛掷到一个崭新的维度,也将其灵性发挥到极致。
基于3D视频技术的电子音乐《连续体》,音乐素材是由数学方程生成,从物理、心理两个层面出发寻找时间、空间与人类感知之间的微妙关系。作品选取蛙声、风声、鸟啼声、叫喊声、钟表嘀嗒声、电流声等来自大自然的原声参数,通过洛伦兹数字方程进行计算、合成,探索了洛伦兹变换、蝴蝶效应、时空转换和混沌世界等主题,展现出音乐与数学的奇妙共鸣。配以饱和度与视觉冲击极高的荧光色彩,音乐的叙事有了时间、空间不断相互过渡、流转的穿越属性,呈现出后现代主义所提倡的多元、拼贴、连接、混融的意味。
《恭喜恭喜》以机器狗智能感知数据为驱动,中阮主奏蕴含中国元素的旋律,融合了人工智能、生成视觉和计算机音乐技术。作品的设计基于机器狗的视觉感知数据,又在音乐创作维度内竭尽随宜地安排布局,以求得音乐与科技的极致平衡。机器狗实时的视线范围与现场环境的交互,中阮演奏与电子音乐元素的交织,生成视觉的音乐可视化表演等多维表现形式,展示了作曲家借助AI赋能音乐,携手机器狗共同创意的思维路径,表达了对新年的祝福以及对未来的遐想。
《龙吟》是一首由少数民族民间乐器与电子音乐以及当代科技元素跨界融合的作品,是《厄》系列第二部。作品采用佤族“得”“铃”“口弦”等传统民间乐器,通过手势控制器对现场演奏的声音进行实时变形与重塑,并使用手机陀螺仪实时控制声音的现场三维位置移动。它还结合红外深度体感仪的实时成像,试图将原始的民间音乐与电子音乐、沉浸式的视听环境融为一体,在原始苍茫,大地混沌的意境中镶入数字世界的符号。
传统的琴歌本由人而歌,而AI新琴歌《祝福》则是为人类演奏家、生成式人工智能模型、央音人工智能虚拟歌手、脑电情感计算而作。通过生成式人工智能模型,根据“祝福”主题,创作者将虚拟歌手所演唱的歌词生成中文现代诗,同时,在沉浸式的3D声场中,回旋着由AI音乐续写模型生成的电子化声音。AI新琴歌《祝福》的另一创新是给作品加入脑电情感计算技术,作曲家的脑电信号在多个层次上参与到音乐中。传承传统与展望未来并举的AI新琴歌,为现场的观众在新的一年送上一份美好而真挚的祝福。
AI智能与音乐声色交织的现代化演绎下,一个色彩斑斓的异质空间被高度抽象化地呈现出来,也不禁让我们憧憬音乐艺术的无限可能。数字技术赋能音乐文化,丰富了大众的文化体验,培育了新型文化业态,以高质量文化供给增强人们的文化获得感、幸福感。
齐丽花/文
袁寒松 王川/摄