编者按：近日，由上海音乐学院音乐工程系系主任、作曲家于阳担任音乐总监，美国巴德音乐学院院长、上音特聘教授谭盾担任艺术总监的“Sci-Fi科幻艺术日”音乐会在青岛TAG·西海美术馆的音乐礼堂举行。活动中，上海音乐学院音乐人工智能方向博士后任时弘介绍了在线交互式音乐装置作品《Reflex-in》。该项目将SmartEEG便携式脑电图设备与BCI2000脑机接口应用于音乐治疗，通过读取脑电图、血氧饱和度、声音、陀螺仪等数据，以声音装置实时生成“脑中音乐”，帮助人们量身定制个性化的“声音疗愈机制”，以达到音乐治疗与放松的效果。本期，本报特约任时弘撰文，详细介绍该项目及音乐与脑科学研究的历史沿革。
音乐可以把人变聪明吗？数十年以来，人们都在讨论聆听音乐对人类身心健康产生的潜在影响。1993年，发表在顶级学术期刊《自然》上的一篇研究报告引发了强烈的社会反响。研究人员发现，相较于引导放松的音频片段或是安静的声音环境，给实验对象聆听莫扎特《D大调双钢琴奏鸣曲》（K.448）提高了他们的空间推理能力的成绩。这一结果也被人们称为“莫扎特效应”。
虽然这一效应的真实性在学术界尚有争议，其形成机制也暂未明确，但为研究人员提供了新的思路，打开了音乐治疗的新方向。数十年来，不断有研究试图了解莫扎特这首乐曲的特别之处，探寻音乐与大脑之间的种种联系，并致力于寻找可能的音乐治疗手段。
除了这首乐曲之外，其他的音乐是否也能，并在多大程度上影响人脑活动呢？对于不同的个体，不同的音乐治疗效果是否相同，是否能够对音乐进行定制，从而对人对症进行治疗呢？带着这些问题，科学家和音乐家们一起走向了脑科学研究的前沿。
1924年，人类脑波首次被汉斯·贝格尔（Hans Berger）测量，自此，脑电图（EEG）逐渐成为观测大脑活动的主要手段以及诊断大脑和神经相关疾病最有效方式之一。1934年，阿德里安（Adrian）和马修斯（Mathews）的一篇实验报告将脑波转换为人耳能够听到的声波，首次完成了从脑波到声音的转换。音乐家们也注意到了当时的这一新兴领域，将脑波数据运用在了音乐创作之中。1965年，阿尔文·卢西尔（Alvin Lucier）首次使用脑波信号制作了乐曲《为独奏者而作的音乐》（Music for Solo Performer）。
20世纪70年代，雅克·维达尔（Jacques Vidal）将脑电图应用于脑机接口研究。其后数十年间，陆续有作曲家为脑电图和脑机接口创造乐器和创作乐曲。进入21世纪后，更多音乐家开始将脑电图信号应用于实时交互系统和算法作曲系统，并开始关注其在音乐治疗中起到的作用。基于脑电图信号的音乐生成系统可以对人脑活动进行精确的监控、生成与脑波同步的音乐。实时脑波音乐的交互性是传统音乐治疗所使用的音乐类型所不具备的，有助于更好地达成音乐治疗的目的。
最近，由上海音乐学院、上海市音乐声学艺术重点实验室，以及天桥脑科学研究所（TCCI）联合进行了实时脑波音乐的相关研究。在青岛举办的“Sci-Fi科幻艺术日”活动中，笔者介绍了在线交互式音乐装置作品《Reflex-in》，并演示了配套脑电图设备SmartEEG和脑机接口的使用。
SmartEEG是天桥脑科学研究所最新研发的一款便携式脑电图设备，可以通过放置在前额上来检测实时脑波。同时该设备还可以获取陀螺仪、麦克风、光线强度等数据，如在睡眠时，可以监测睡眠姿态、动作、鼾声、心跳频率、血氧饱和度、睡眠周期等重要睡眠质量信息。使用BCI2000脑机接口软件，这些信息可以被实时处理，并转化为声音和图像。
科学研究中，常用的脑波频段有α波（8-12Hz）、β波（12-35Hz）、γ波（>35 Hz）、δ波（0.5-4Hz）和θ波（4-8Hz），分别对应不同的大脑活动状态，如放松、潜意识、警觉、思考、不同周期的睡眠等。使用各种脑电图设备均可检测这些频段的脑波，但要准确了解脑波的含义是困难的，目前还不存在可以通过脑波准确“读心”的算法。不过，使用信号处理算法对各频段的脑波信号分析之后，我们可以得出各频段的信号强度，并由此推断出大脑所处的大致“工作状态”。如果我们可以借助外部手段维持或增强这些信号的强度，就有可能帮助大脑稳定在相应的状态，起到延长深度睡眠时间、增强记忆力、辅助患者恢复运动功能等作用。
通过SmartEEG对整个睡眠周期进行监测的数据可视化结果，红色标出的是不同的睡眠周期，显示了入睡前、打鼾、慢波睡眠等
近年来，多项研究指出，在准确的时间点对受试者给予听觉刺激，可以增强不同频段的脑波，这将有望为包括莫扎特效应在内的音乐对大脑产生的潜在影响提供新的证据。不过，要找到这些“准确的时间点”来播放声音无疑是困难的，这要求整套系统形成所谓的“闭环”。2013年，吴（Ngo）等在《神经元》期刊上发表了论文《睡眠慢波震荡的听觉闭环刺激可增强记忆力》（Auditory Closed-Loop Stimulation of the Sleep Slow Oscillation Enhances Memory），论文中的实验首先监测人类慢波睡眠（即深睡眠）时的脑波信号，在波形达到指定相位时，立刻播放50毫秒的噪音刺激，这就形成了我们所说的“闭环”。实验表明，这种刺激能够在一定程度上延长慢波的持续时间，并使受试者在第二天记住了更多前一天晚上记忆的单词。
2021年，哈林顿（Harrington）等发表在《睡眠》期刊上的论文《快速眼动睡眠期间θ振荡的锁相听觉刺激》（Phase-locked Auditory Stimulation of Theta Oscillations during Rapid Eye Movement Sleep）中，延长特定脑波持续时间的效果在频率更高的θ波频段得到复现。2022年，希伯伦（Hebron）等的预印本文章《完美时机：人类清醒和睡眠过渡时期听觉刺激对α震荡的影响是相位相关的》（Perfect Timing: Effects of Auditory Stimulation on Alpha Oscillations During Wakefulness and the Transition to Sleep are Phase-dependent in Humans）证实了α波频段的听觉刺激确实需要“找准时机”才能奏效，同时将该类实验的成果拓展到了清醒阶段。
基于这些研究背景，我们使用万维网技术将脑波设备变成一个脑控的音乐生成器——《Reflex-in》。它使用一种基于网络的电子音乐编程系统JSPatcher来进行设计。JSPatcher是笔者自主开发的一种可视化编程语言，它类似于交互式音乐作曲家常常使用的Max/MSP，但可直接在网页中以可视化、交互式的方式构建多媒体应用，并直接运行、发布，可在大多数计算机或智能手机上使用。
Reflex-in参与的脑波-脑机接口-声音刺激的闭环示意图
在《Reflex-in》中，我们借助脑机接口软件接收实时的脑波信息。一旦找到这些时间点，便会触发程序中的部分声音合成器。在作品的用户界面上，能看到四部分控制器，包括按钮、旋钮、滑块等，这四部分对应了四种不同的声音合成器。
Reflex-in装置的用户界面，由四部分声音合成器组成
通过操作这些控制器，可以对声音的音色和形态产生影响，从而让音乐在时间层面的变化更为丰富。本作品作为音乐装置，可以由观众或听众自行修改参数，从而形成因人而异、可定制的声音体验。
《Reflex-in》是从音乐艺术的角度进行设计的，但它不仅仅是一件艺术作品，其潜在的音乐治疗应用也值得关注。它也是一个原型，为未来的脑波音乐生成系统打下基础。我们希望这项工作能让每一位普通人都能在聆听音乐的同时，达到延长指定频率脑波的效果，从而变得更健康、更聪明。
任时弘/文
