新技术再续旧时光,火山引擎首次采用视觉大模型修复经典老港片
时间:2023-08-17 08:35:18来源:甲子光年

8月16日,抖音、中国电影资料馆、火山引擎在北京举办“再续时光-经典香港电影修复发布会”,宣布将对100部香港经典老电影进行4K修复,还原老港片的绝代风华。火山引擎为该计划提供技术支持,与中国电影资料馆一起对电影进行“AI+人工”修复。首批完成的4K精修影片包括《武状元苏乞儿》《A计划》《蜀山·新蜀山剑侠》。


(相关资料图)

火山引擎首次将视觉大模型应用于老片修复场景,借助其强大的生成能力和丰富的先验知识,实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。

大模型首次用于影视修复

公开资料显示,电影修复工艺繁杂琐碎,一位经验丰富的修复师需要1个月的时间,才可以修复完成一部影片。近些年,通过深度学习等AI技术,大幅提升老片修复的质量和效率成为可能。

“老片修复这件事情,其实我们每天都在做。”火山引擎视频云技术架构总监王悦说,老片中常见的清晰度低、流畅度低、色彩失真、有瑕疵等画质问题,在抖音的海量投稿里也广泛存在。通过服务抖音,火山引擎在老片修复方面已经形成了一套较为完整的智能处理技术方案,曾携手西瓜视频和抖音,完成100部国产经典动画和Beyond经典演唱会的4K修复。

新兴的大模型技术也被首次运用到老片修复中。王悦介绍,一方面,大模型生成能力强,修复效果优于之前的算法,画面细节更自然;另一方面,大模型具有非常强的信息结构化能力,在学习了海量数据对后,可以在其中提炼出大量的知识并“存储”在模型参数之中,其生成空间更丰富,能够应对更多的修复场景。

“打个比方,在‘看’过海量狗狗的照片后,大模型能学习并记住狗的样子,可以更生动形象地‘画’出一只狗。”王悦说。

但大模型强大的生成能力也是一把双刃剑,其表现在一些场景下并不稳定,容易生成伪影或者虚假纹理等;以Stable Diffusion为代表的视觉大模型本身大多是基于图片或者单帧的算法,在视频这种多帧序列的场景下也存在效果和稳定性的问题。

针对老旧电影修复的特殊场景,火山引擎多媒体实验室对视觉大模型做了三个层面的算法优化:在图像生成方面,通过控制模型的边界条件、强化高质量生成空间等手段,显著提升大模型的图像输出质量;在视频场景里,通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段,让大模型在修复的过程中可以使用前后帧的信息,更好地处理视频任务;同时,火山引擎还携手Intel在算法和工程上进行了多项优化,能显著提升大模型在4K场景下的处理效率并兼顾算力成本。

《武状元苏乞儿》修复前后对比

算法助力经典文化传承

据王悦介绍,对火山引擎多媒体实验室的工程师来说,老港片修复最大的挑战不是算法技术,而是如何保留影片原有的艺术风格。

“在很多影片的修复中,中国电影资料馆都想方设法邀请当年的主创走入修复实验室”,中国电影资料馆副馆长张小光表示,此次4K修复《武状元苏乞儿》,就得到了导演陈嘉上的艺术指导。

在这一过程中,火山引擎和中国电影资料馆进行了多轮沟通和讨论,经过不断的测试和反复的调优,才达到算法服务于艺术的理想效果。以色偏和色彩的处理为例,此前的AI算法能够完成和优化一系列客观上色彩的问题,但对于部分艺术色彩上的还原容易产生偏差,火山引擎此次摸索了一种AI加速艺术修复的方案,能通过学习人工修复片段的数据获得更理想的色彩方案效果,从而加速修复进程。

“我们在不断思考,怎么让过去的老片焕发新生。”王悦表示,“利用大模型算法进一步提升老片的修复质量,无论是从技术实践还是从文化传承的角度来看,都是一次有意义的尝试。”

抖音副总裁陈都烨介绍,未来一年,《喋血双雄》《阿郎的故事》等100部香港电影的4K修复版,也将陆续在抖音、西瓜视频上线。

这100部香港电影制作时间集中在上世纪70年代到90年代,涵盖陈嘉上、徐克、成龙、关锦鹏、周星驰等多位导演作品。中国电影资料馆的电影策展人沙丹表示,这个时段正是香港电影的黄金时代。彼时内地正逐渐走向开放,香港电影成为很多内地青年了解世界的窗口。

受限于早期拍摄的设备技术以及胶片存放使用过程中造成的损伤,记忆中的老港片虽然情节鲜活,画面却模糊、昏暗、不清晰。对于习惯了高清视频的观众来说,重温经典的观影体验并不友好。

“我们希望通过技术手段让现在的年轻人也能喜欢上过去的经典,老的观众可以重温曾经的回忆,形成几代人的共同记忆。”王悦说。

标签:

生活指南
  • 湖人该追篮网24岁中锋?美媒晒4换1交易方案:他是浓眉的精英搭档

    湖人的目标是再签一位大个子,但美媒认为交易补强内线也是不应排除的方

  • 网页设计与网站规划有何不同之处?

    网络时代的迅猛发展,许多企业都会建设一个属于自己公司的网站,现代人

  • 东吴宏观:上午央行超预期“降息”凸显了政策层对于稳地产、稳经济的决心

    最近经济和市场的节奏变化有点快,原本以为拿的是“地产放开,经济市场

  • 人体“隐形手术刀”或能切除脑癌

    【人体“隐形手术刀”或能切除脑癌】美国索尔克生物研究所科学家发现,

  • 高水平对外开放推动海南成为中国扩大进口重要平台

    人民网海口7月19日电(记者李学山)今年上半年,全球贸易投资放缓、我

  • “数智”图书馆为读者带来“花式”体验

    在阿策和温小图的强势吸粉能力加持下,目前温州市图书馆的公众号关注数

  • 筹备一年多后,深圳燃气推出分拆斯威克上市预案

    8月11日晚间,深圳燃气(SZ:601139)发布预案公告称,拟将旗下控股子公

  • 守望相助 共护平安

    8月1日,中国铁路北京局张家口车务段党员突击队成员为K1178次列车滞留

  • 神秘臂铠助力反抗神明 RPG新游《尘封大陆》上线

    近年来,动作游戏领域充满各种魂like作品,它们大多数都采用阶段性箱庭

  • 股票ETF规模两级化,1只龙头ETF顶500只小规模ETF

    App8月13日消息,一边是沪深300ETF规模突破1千亿,一边是小微基金数量

  • 长和(00001.HK)中期EBITDA总额611.51亿港元 同比减少13%

    格隆汇8月3日丨长和(00001 HK)公布,截至2023年6月30日止六个月,公司

  • 上海金基准价早盘报454.52元/克

    上海黄金交易所公布,上海金基准价早盘报454 52元 克。

  • 英特科技:2023年上半年净利同比增长19.18% 拟10派7元

    英特科技披露半年报,2023年上半年公司实现营业收入2 36亿元,同比增长

  • 2023年8月3日一水葡萄糖价格最新行情预测

    中国报告大厅2023年8月3日一水葡萄糖价格最新走势监测显示:巩义市恒毅

  • 我国第一部章回体小说

    中国古代小说是中国文化的重要组成部分,而章回小说是其中一种极具影响

  • 特灵空调是国产还是进口的(大家觉得美国特灵空调怎么样)

    1、特灵空调是世界三大中央空调之一,2、有一百年的历史了,3、从商用

  • 民生
    • 13位院士将共赴包头“稀土之约”

    • “新”生欢喜,“税”月起航——邵阳税务2023年新入职公务员见面会仪式感满满

    • 山花烂漫打一生肖(山花红烂漫打一地名)

    • 遂溪以海鲜破解“留量密码”