你所在的位置: 首页 > 正文

腾讯多媒体实验室:探索图像视频降噪,还原你眼中的高清“视界”

2020-02-14 点击:1437

12月13日至14日,直播堆栈音视频技术社区和CSDN在深圳推出直播堆栈2019。会上,腾讯多媒体实验室李松南主任发表了题为《图像视频降噪的今天与未来:从经典方法到深度学习》的主旨演讲,阐述了图像和视频降噪技术的现状和发展前景。

作为多媒体技术领域的盛会,LiveVideoStackCon音视频技术大会聚焦于音频、视频、图像、人工智能等技术的最新探索和应用实践,涵盖社会、游戏、智能设备等行业领域,并与工程师、技术领导者和其他行业利益相关者分享技术创新和最佳实践。此次会议汇聚了60多位国内外技术专家和150多家参与企业,讨论前沿技术的发展。

对于喜欢看老电影的用户来说,图像和视频中的噪音实际上是非常熟悉的事情。当胶片形式的内容被转换成数字格式进行存储时,由传感器和扫描仪电路产生的图像亮度或颜色的随机波动被称为闪烁、模糊、颜色不均匀以及视频噪声观看电影时出现的其他现象。类似地,当用数码相机拍摄照片时,当相机的灵敏度被调整到更高的值时,噪声很容易出现在捕获的图像中。噪音的出现严重影响了照片的观赏性。为了解决这个问题,图像和视频降噪技术应运而生。

腾讯多媒体实验室结合经典方法和深入学习技术,在图像和视频降噪领域积累了多年,其研究成果已被广泛应用于腾讯的内外产品和场景,如滕循云、国科松、微视等。

探索图像和视频降噪技术,深入学习经典方法。李松南表示,腾讯多媒体实验室在图像和视频降噪领域已经积累了多年。以数码相机拍摄产生的噪声为例:噪声主要是由光敏元件接收光子的随机性造成的,单位面积平均接收光子越多,信号的信噪比越大,人眼感受到的噪声越小。因此,可以通过增加感光元件的尺寸和增加单位感光面积来提高信噪比,这就是为什么数码相机场被称为“底部大于顶部”。“我们还可以采用更先进的光敏元件技术和像素融合(将多个像素组合成一个像素,以增加单位像素中的光信息量)来解决这个问题,这也是图像和视频降噪技术领域中常见的硬件方法。”

由于制造过程的限制,在同一技术框架下,硬件不能无休止地升级。为了进一步解决噪声问题,需要软件。基于统计模型的单帧降噪是一种选择。它具有速度快、效果好的特点。相比之下,为了弥补单帧降噪应用场景的局限性,多帧降噪也是目前常用的降噪方法。简而言之,多帧降噪通过对齐和融合的步骤将连续的多帧图像组合成一帧图像,从而提高图像的信噪比,克服长时间曝光造成的图像模糊。

为了进一步提高降噪的质量和效率,近年来广泛使用的深度学习方法也被应用于图像和视频降噪领域。李松南表示,基于深度学习的降噪算法在计算复杂度上仍存在较大问题,但随着硬件能力的提升和异构计算的使用,复杂度问题已经慢慢开始得到解决。此外,大规模真实噪声数据库的出现、真实噪声模拟等技术手段进一步提高了深度学习方法的效率和质量。目前,腾讯多媒体实验室在这一领域的研究成果已经广泛应用于腾讯的产品,如腾迅云、全民克松、微视等。

展望未来,图像和视频降噪技术潜力巨大。

目前,图像和视频降噪技术呈现出硬件、智能和多功能三大发展趋势。通过专用硬件at t

腾讯多媒体实验室(Tencent Multimedia Laboratory)专注于多媒体技术领域前沿技术的探索、研发、应用和登陆,包括音视频编解码、网络传输和实时通信、基于信号处理和深度学习的多媒体内容处理、分析、理解和质量评估、交互式沉浸式媒体(VR、AR、点云等)。)系统设计和端到端解决方案;同时负责国际和国内行业标准,包括多媒体数据压缩、网络传输协议、多媒体系统和开源平台。

李松南说,“未来我们将进一步发展图像和视频降噪技术,越来越多的重要图像数据将以高清晰度再现在我们面前。未来,我们将看到这项技术在更多领域大放异彩。”

韶关新闻网 版权所有© www.neasiafoods.org 技术支持:韶关新闻网 | 网站地图