黄家驹演唱会31年后重映，再次带火AI修复，1小时播放破亿
文章来源：好站长外链
作者：互联网
人气：16
2022-07-10
一场没怎么预热的演唱会，在抖音直播间里火了。
开场10分钟，观看人次就突破 1600万，1小时后飙升到 1亿以上。
而这场演唱会，其实是从31年前穿越而来。
1991年，Beyond乐队首次登上红磡体育馆的舞台，初次登台就铸成经典。
如今，时光流转，这场演出在2022年的夏天在直播间里，通过手机屏幕和上亿人见面。
不过令人意外的是，尽管演唱会的母带已经称得上是“老古董”了，但是直播间播放的画面却没有糊成渣。
无论是黄家驹脸上细微的表情，还是黄贯中斗琴时上下翻飞的手指，歌迷们都能从手机这样的小屏幕上看得一清二楚。
?
△动图效果略有压缩
如此清晰的效果和细节呈现，让不少人恍惚间仿佛重回了90年代，引得歌迷直呼“Beyond精神永存！”
???
更值得关注的是，这种精神和情怀背后，提供核心支撑的是正在走向规模化商用的 AI修复技术。
众所周知，Beyond这盘演唱会影碟录制于90年代，当时的技术设备都还十分有限。
就拿画面来说，能达到的水平只有540p、25FPS。
音质方面，也会受到现场噪声大等因素影响，最终录下的歌声也会大打折扣。
而Beyond的修复，画面和音质都达到了一种新水准。更重要的是，这场看上去工程浩大的修复，其实只花 1个星期就搞定了，其中绝大部分还都是由AI“ 直出”的。
这种技术和效率，也让更多人潜在的情怀寄托和需求，得到释放。
??
是的，AI修复正在从黑科技成为日常，也是时候更清晰地了解背后的技术原理了。
“细节到眼线都看清了”
其实这几年，大众对AI修复已经不再陌生。
去年，央视动漫和上海美术电影制片厂的多部经典动画通过AI修复技术，画面清晰度可以达到4K水平。
不过和过去的一些修复工作相比，这次修复演唱会录像，AI还着重注意了这3个方面：
多帧去交错
人像修复
亮度、色彩、氛围调节
首先来看 多帧去交错。
这里先要普及一个概念：什么是去交错？
早期由于设备处理速度或者带宽限制的问题，不少视频录像都是使用交错式信号。
也就是将整个画面平均分成一定数量的横行，两个场分别显示画面的奇数行和偶数行。
这样一来，设备的缓存和处理速度要求都能减半。
而利用“视觉暂留效应”，两个画面可以在快速播放过程中呈现出完整的画面。
不过，随着显示设备不断进化升级，如液晶显示器等都只支持逐行扫描。
这就导致老旧影片在新设备上播放时，会出现非常明显的闪烁。
所以，需要使用 去交错的办法，来将隔行扫描的信号转换为逐行扫描信号。
传统常见的去交错方法，一般是把连续的两个场直接拼为一帧，不做任何修改。
但是每个场之间的拍摄时间还是会存在细微变化，如果这一刻拍摄物体正在移动，就会导致去交错后的图像会出现“ 拉丝”问题。
针对这个问题，AI这次使用的是 基于运动补偿的多帧去交错算法。
和传统方法相比，这种方法的大致原理是根据邻近场使用动态估计，去预测画面中的物体移动并得到动态向量，根据前一个场及动态向量就能重建出一个新的场，然后将此两个场并完成反交错。
它的特点是 泛化性更强，细节处理能力更好。
从结果来看，修复后吉他手的手部伪影完全被去除了，轮廓也清晰了起来。
第二个不同之处，便是对 人像的着重修复。
演唱会录像中势必会存在大量的人像镜头，很多还是怼脸大特写，歌迷格外关注的镜头往往也是这些部分。
但受限于当年的拍摄设备水平，最终呈现的效果很容易是人和背景糊成一片，五官轮廓也不清晰。
针对这一问题，这次修复中使用了火山引擎自研的 自适应人像增强算法。
这种方法基于深度学习模型，会在消除人脸整体的模糊和压缩损伤的同时，进一步对五官进行重建。
比如之前不少网友说，修复后影像里，黄家驹的眼睛都有了光、眼线都能看得一清二楚。
这就是因为算法对眼睛部分进行了重建，并补足了更多细节。
除了五官以外，这一算法还能兼顾皮肤纹理、头发丝等方面的细节处理，可以让修复后的人脸更加真实。
此外，考虑到演唱会中拍摄到表演者的脸部不只有正面，算法还考虑到侧脸、俯视、仰视、被话筒遮挡等多种情况，可以解决很多 极端情况下的修复问题。
第三方面，体现在 色彩亮度增强上。
据技术提供方火山引擎介绍，原片中其实存在大量过曝、死黑场景，色彩还原度也不够高。
而这些问题不是简单调节亮度或色彩就能解决的。
就拿 死黑场景举例，因为影片本身还存在很严重的底噪，如果直接把偏暗场景调亮，底噪也会被同时放大。
至于色彩方面，还需要平衡好修补褪色和保留复古感两方面因素。
在这方面，火山引擎是根据具体片源的效果，依据美学评分对不同方面进行调整。
并能根据不同帧的色彩统计信息进行 分区域自适应亮度增强，从而找到最佳的明暗平衡效果。
据技术人员介绍，以上几方面工作几乎都是由AI完成的，人工参与的只有一些调参部分。
甚至连对画质的评估，AI都参与了一波。
这次使用了一个针对画质的VQScore算法，对影片效果进行评估。
该算法在ICME 2021的“压缩UGC视频质量评估”比赛中，获得了“无参考视频质量评价（NR-VQA）MOS赛道” 第一名。
拯救古早收音bug
视频修复方面细节拉满，不过既然是 演唱会，光修复画面可不够，音质体验更是拨动观众心弦的关键。
受限于当时的技术水平和录音设备，在原版影碟中，其实存在各种各样的音质问题。
比如：
噪声干扰：设备、环境的噪声影响音质
带宽不足：设备、压缩算法等导致音频截止频率低
响度问题：响度问题导致听感不适
针对这些问题，此次火山引擎音频技术团队在Beyond演唱会的音质修复方面，主要用到了 三种算法。
音频降噪算法
首先，来看看音频降噪算法带来的效果。
这是降噪前演唱会现场的收音：
降噪之后，效果则是这样的：
可以听出来，由于90年代演唱会收音条件有限，现场的环境又比较嘈杂，原版音频中噪声是比较明显的。
而修复之后，黄家驹的声音和音乐声变得更加 清晰、干净。
这一点在频谱图上也表现得很明显：降噪前，音频频谱较为浑浊；降噪后，频谱图清晰了不少。
值得注意的是，传统的降噪方案通常针对人声，在演唱会这样的场景里，容易“误伤”音乐本身。
因此，在为演唱会设计降噪算法之初，技术团队就将降噪导致的音乐失真问题考虑在内，通过在训练时加入音乐数据等方式，实现了对音乐场景和人声场景的兼容。
也就是说，可以在保留人的说话声、唱歌声以及音乐本身的同时，抑制其他噪声。
音频超分算法
噪声之外，由于演唱会拾音设备、录制硬件以及存储压缩等技术原因，声音带宽受损（即带宽变窄）同样会影响听觉体验。
因此，修复团队还引入了音频超分算法。
该算法主要对演唱会中人声的部分进行了 频带拓展，以使人声更加清晰。
从蓝框部分可以看到，经过超分，原始音频的高频部分得到了拓展和增强。
响度算法
最后，是通过音源分离算法提取演唱会中 歌声的部分，然后用响度算法对响度进行调整。
这是因为演唱会现场拾音的过程中，可能会出现人唱歌的声音被乐器、环境声盖住的情况。
单独提取唱歌部分的人声，进行响度调整，然后再与原音频混合，能够使整体的声音大小听上去更加舒适。
一个幕后小故事是，无论是画质修复还是音频修复，都需要人工来进行最终质量评估。
而修复团队的程序员们恰好都是听着《海阔天空》、《光辉岁月》长大的一群人。
因此处理Beyond演唱会的旧影像时，修复人员们都是以粉丝的心态，一遍又一遍不断地去听、去看修复效果，力图用算法把当年红馆的热烈氛围在今日重现。
他们的标准说起来也很简单：
我得先觉得身临其境了。
另外，值得一提的是，修复人员谈到，本次修复基本都是AI搞定的。目前，这样的技术能力已经被集成到火山引擎对外开放的智能处理、音频技术两个产品中。
AI修复技术的B/C面
当一场场线上怀旧演唱会在网上掀起热潮，AI修复技术也再一次成为技术热点。
并且在一次次的“出圈”之中，这类“网红”技术的发展路径和商业化前景，逐渐清晰明朗起来。
第一阶段，是新兴技术的探索期。
在这个阶段，老片修复的相关技术手段从实验室走向民间。以B站up主大谷的视频为代表的个人修复作品，屡屡吸足眼球，引发热议。
△大谷修复作品
伴随着云与AI的进一步结合，各大科技厂商开始把“网红”引入家门，这也就开启了AI修复技术的 第二阶段：技术工业化进程中的试验期。
这时候，开始有更多工业级的修复项目出现在大众眼前，但仍旧有“单个项目、单点突破”的特点。
比如此前西瓜视频和火山引擎推出的“经典视频4K修复计划”，就是通过工业化的AI技术手段，成批量地修复《哪吒传奇》、《黑猫警长》等百部经典动画。
而现在，你或许不知道的是，这样的技术不再仅仅停留在公益项目、To B产品的阶段，甚至打开抖音，你也能用上。
比如画质修复的相关算法，就已经被集成到抖音个人用户的作品发布功能当中。即使没有专业的拍摄设备，用户投稿的作品经过AI针对清晰度、色彩、瑕疵、失真等问题的自动修复，也能达到不错的效果。
由此可见，在长期的技术积累与实践之后，AI修复技术作为一种成熟技术产品的 第三阶段——大规模商用落地，或许已经拉开帷幕。
尤其对于字节跳动这样的厂商而言，其旗下拥有抖音等每天都会产生海量音视频UGC内容投稿的平台。
从修复动画到Beyond演唱会，一系列技术问题的突破和解决，最终都会直接在产品层面上有所体现。
并且不仅在云这一侧面向B端，也已经在C端显现出潜能。
实际上，这也是AI技术不断普惠、下放过程中的一个典型案例。
咱们作为普通用户，受益其中，自然喜闻乐见。
说说你最希望AI修复的“老东西”吧？
