谷歌的论点是,它可以很容易地用软件和一个摄像头来完成,像 Galaxy Note 和 iPhone 这样的手机需要两个摄像头。当然,这一切都随着今年的 Pixel 4 和 Pixel 4 XL 发生了变化。除了后部的常规摄像头外,还有一个带有 2 倍长焦镜头的摄像头。
两倍的数据意味着来自图像的更多潜力,谷歌的软件工程师 Neal Wadhwa 和谷歌研究院的研究科学家 Yinda Zhang 概述了他们如何利用硬件和软件来改进边缘识别、深度估计和更逼真的散景。
重要的是,它建立在而不是取代现有的人像模式系统上。对于之前的手机,比如 Pixel 3,人像模式依赖于双像素系统:每个像素被分成两半,每个像素看到主镜头光圈的不同一半。这只是一个微小的区别,但这两个视角允许相机应用程序估计距离,就像我们的眼睛一起工作来确定某物离我们有多远或多近一样。
问题是,使用该系统的视点之间的实际距离小于 1 毫米,因为半像素非常靠近。例如,它使得计算远处物体的深度变得更加棘手。
但是,使用 Pixel 4 上的双摄像头,距离为 13 毫米。这会产生更大的视差,从而更好地估计更远的物体的距离。不过,双像素仍然用于帮助处理主摄像头之一的视野被遮挡的帧部分。然后谷歌通过一个训练有素的神经网络汇集所有这些来计算深度。
然而,从背景中切出前景主体只是成功的一半。为了让它看起来更逼真,就像使用了真正的浅景深镜头一样,您需要添加模糊的背景,称为散景。在 Pixel 4 中,谷歌在添加模糊时使用了一个新的管道,首先这样做,然后应用色调映射,而不是相反。
好消息是,由于软件在这一切中扮演的角色,谷歌可以在旧手机的更新中推出更好的散景效果。例如,如果您在 Pixel 3 或 Pixel 3a 上安装了 Google 相机应用 v7.2,那么您也将拥有这种改进的背景模糊系统。