浅谈2D转3D技术

为什要进行2D转3D？

       传统的数字高清2D电视已经不能满足人们对视频的真实感的要求，迎接3D电视的到来。

       3D视频的内容主要来自三个个方面，其一,立体摄像机直接产生的视频；其二，将原有的2D视频信号转换为3D视频信号；其三，计算机生成图像（CGI）;

好处：

       1.目前存在大量的传统2D视频，重现银幕经典。

       2.技术尚未完全成型，特别是在3D电视方面，如果研究出很好的算法，有很大的商业潜力！

3D 成像的基本原理

       基本原理：人类的左眼和右眼在水平方向上有5～6.5cm的位移，因此左右眼所看见的画面中对应实际物体上同一点存在一定距离，通过这种差别判断物体的远近和深度，即视差parallax原理。

       根据“视差”原理，把同一景像用两只眼睛视角的差距制造出两个影像，然后让两只眼睛各看到对应自己一边的影像，就能刺激大脑产生3D（3Dimensions）立体效果的。      

举例： 

       1、大家可以轮流闭上一只眼试试－－看同一个东西，侧面不同

       2、单眼对笔尖－－比双眼困难很多

2D转3D技术分析

       简单的说就是从场景的一副图像或者一系列图像中，推导出该场景的精确的三维几何描述，并定量地确定场景中物体的性质。

主要步骤：

       1.生成灰度图

       2.生成主轮廓图，表示出图像中重要物体的边缘（图像分割技术）

       3.生成深度图，表示出以观看者为中心的图像中各物体的深度

       4.3D呈现，表示出图像中各物体的空间几何结构

       5.最终的3D表示所谓的3D图像对，即略微不同的图像，其中一个为左眼图像，另一个为右眼图像。

几个关键词

       深度线索：用来提取三维信息的图像特征

       深度图：通常表示为灰度图，每一个像素点的值即为该点的深度

       零视差、正视差、负视差：一个点落在银幕上、一个点介于银幕与观看者之间、一个点看起来在银幕平面远离观看者。

       3D图的表示方法：一种是采用双目视差图方式的3D图像对；另一种是采用2D图加深度图的方式

视差图与深度图的关系

深度几何关系

      z为实物到眼睛的距离，即为深度；B为左眼与右眼的距离；XL 与XR 分别为三维世界中的点 P 在左眼图像中的银幕坐标与点 P 在右眼图像中的银幕坐标。 D 为眼睛与银幕之间的距离。

      通过控制视差d我们可以达到控制可视深度的目的，通常的做法是将作为左眼图像，并通过增加视差来产生右眼图像。

2D转3D的基本框架

图像分割

       图像分割的主要目标是将图像划分为与其中含有的真实世界的物体或区域有强相关性的组成部分。

       图像分割算法一般是基于亮度值的两个基本特征之一: 不连续性和相似性。

分割的越细致，通过后期的深度提取与深度赋值产生的3D世界就越有深度感。

从深度线索中提取深度

       基于深度提取算法所依赖的深度线索我们可以将深度提取算法分为12类。

根据立体的效果，要不断的调整获取的深度信息，人工很浪费时间。

双目视差深度线索

       原理：从两个不同视点拍摄得到的同一个场景的两幅图像之间存在双目视差。双目视差模拟了人眼观察实物的机制，是深度感知的重要线索，通过立体匹配的方法在两幅图像中寻找对应的像素，计算双目视差，视差越大，场景越近，视差越小，场景越远；将双目视差转换为场景深度

       P l 与P r 是3D 世界中点 P 在左图像和右图像上的投影, O l 与 Or 是左摄像机与右摄像机坐标系统中的原点

       点P的深度值Z可通过如下公式计算: 

Z= f*T/d

其中 d= x r -x l

阴影深度线索

       原理：人类的大脑能够非常好的利用阴影及一般情况下的明暗度提供的线索。检测到的阴影不仅明确地指示了隐藏边缘的位置和与其邻近的表面的可能方向, 而且一般的敏感度性质对于导出深度信息有重要的价值。

       一个典型的例子是人脸的照片, 从直接的2D 表示, 我们的大脑可以很好的猜出其可能的照明模型, 进而推断出人脸的3D 性质。

分析

       这些方法都是在实际操作时科研人员发现的单目深度技术比较困难，有时仅仅有一幅图像得到的仅仅是深度关系，而不是实际的深度。

       目前的主流算法是利用双目深度线索，结合多幅图像在空间维度与时间维度上相关性来获取场景的深度信息，特定环境下采用单目技术。

       没有一个系统的普遍的算法，这也是2D转3D技术研究中的难题。

       由深度图进行3D图合成！

从深度图进行3D图合成

       过程：从深度图到立体图像对生成, 实际上是从原始图像结合深度图生成左眼图像与 右眼图像。而左右眼图像是通过对分割后物体的平移操作获得的。

       最初的是将原始的2D图像作为一个眼的图像，平移得到另一个眼的图像。

现在

       原始的2D素材被当作介于左右画面的中间画面，左右眼的图像都是经过的平移得到的。

       减小了因为计算造成的画面变形。

后期制作

       得到3D图像对之后，根据3D效果要对前面的步骤不断的微调，已达到最好的3D效果。