旷视科技实时双超AI算法还原你的“夏日回忆”
关于天狮注册
发布日期:2024-08-22 17:23 点击次数:157
当你想要重温上世纪经典作品《西游记》《葫芦娃》却被低画质劝退;当你抱怨买回家的4K大电视毫无用武之处,只能继续忍受标清版电视资源;当历史课老师想带学生们回溯晚清的中国万象却只能看到黑白两色重重迷雾的虚影……
我们时刻都在通过影像与过去的时间对话,超清画质,已经成为绝对的刚需。想要给目光所及的影像都加上“自动变超清”Buff,这事儿到底难不难?
旷视视频插帧,让你的眼睛感受到观影的乐趣
首先从影像修复技术开始说起。人的眼睛一般每秒能看到24张画面,这些画面连起来,在人脑中就是动起来的影像,这就是我们说的“帧”。但是在以往的影像制作,尤其是动画制作过程中,出于减少工作量等考虑,制作出的作品往往一秒不够24帧,这样人看到的画面虽然也是流畅的,但总觉得不够“丝滑”。
要让一段影像变得“丝滑”,看起来毫无违和感,甚至多了很多细节——运用到的关键技术就是视频插帧,即根据低帧率视频来生成高帧率视频。这项技术,对于观看体育赛事这类运动型视频是极为友好的。经过插帧后,画面流畅度会有较为明显的提升,画面也更加平滑流畅。
以往的视频插帧,通常会用光流预测算法来“推理”中间帧,并插入两帧之间。所谓光流,就像光的流动一样,是一种通过颜色来表示图像中目标移动方向的方式。简单来说,就是通过算法计(脑)算(补)一下两帧之间的画面是什么样的,在这两帧之间插入新的一帧,这样画面自然看起来就更流畅了。
实时双超AI算法之前的两张图片
但是,传统的视频插帧技术有一定的局限性,除了速度慢,还有最主要的阻碍,那就是伪影问题。传统算法在预测过程中,如果用前后两帧图像产生双向光流,用线性组合来估计中间流,那么预测出来的结果可能在运动边界区域就会出现伪影。出现了伪影,重建中间帧的效果就不尽如人意,输出的影像也就不那么自然。
怎么办呢?AI时代,AI魔法。
旷视科技实时双超AI算法,解决多重插帧难题
为了解决视频修复过程中“伪影”、速度慢的难题,旷视研究院基于在计算机视觉与深度学习技术中多年的积累,研发出一种视频双超轻量级AI算法。双超,指的是视频超分辨率及超帧率。超分辨率是将低清视频通过AI技术变高清,比如从2K变成4K;超帧率是通过AI算法将视频从30帧变为60帧的技术。
目前,旷视双超AI算法,能够实时进行视频质量的优化,快速提升视频的分辨率、帧率及画质细节,让视频超级清晰的同时超级流畅。双超算法基于名为“RIFE”的高效视频插帧算法,能够让视频计算的运行速度提升数倍甚至数十倍。而相比于传统光流预测算法利用前一帧和后一帧进行两次帧间光流估计和光流逆转,RIFE直接采用全卷积网络对中间帧进行一次估计,还能有效解决伪影问题。
原视频
实时双超AI算法之后的视频
想象一下,当你在线观看电影时,依靠视频双超技术,瞬间进入4K、120帧/秒的丝滑观影世界,影像世界里的一花一叶一树都清晰无比,一动一笑一瞥都丝滑顺畅,这就是我们一直追求的观影体验。
计算机的世界本源是0和1,是严格理性的科学推演,要不断实现更极致的影像之美,需要技术人们的不懈坚持与开放精神。为了让更多追求美的开发者们共享技术成果,旷视科技已将RIFE算法开源,Github star数量现已超过1, 600,同时已经有Flowframes、SVP、SVFI等知名应用将RIFE算法整合进了产品和解决方案中,为更多地终端用户提供创新应用。未来,实时AI双超算法也将在影视娱乐、消费电子、VR/AR等领域都有广泛的应用前景。
影像是美好的承载,AI是影像的金手指。如今在旷视实时AI双超算法等创新技术的帮助下,我们能够更真切、更细节的去感受影像世界的美好。技术的进步,正在让美好发生。
发布于:湖北省