A.三种重构技术的简单介绍

B.需要了解的知识

C.书籍与其他资源

三种重构技术简介

本文部分是从“3D视觉工坊”公众号摘取

A.三种重构技术的简单介绍

在2D图像处理领域，可以采用面阵和线阵相机，二者相辅 相成，从而满足不同的应用要求，与之类似，3D图像处理也提 供各种技术，现在最常使用的技术包括：

• 立体视觉和结构光

• 激光三角测量法

• ToF(Time-of-Flight)

每项技术根据不同的原理来记录三维信息，它们均有不同的优点和缺点。在此，这些技术同样可以实现优势互补，至于 哪种最适合，这取决于各自应用的要求。

一、立体视觉和结构光

立体视觉的工作原理依照人类的一双眼睛4使用两个相机 记录一对象的两个2D图像，并且，从两个不同的位置记录同样的场景，借助三角测是原理，使用深度信息合成一幅三维图像。立体视觉使用从两个普通的2D面阵相机提供的图像数据，为场景提供深度值。同时，根据相机位置以及应用的几何信息 对图像进行调整。在调整后，使用匹配算法搜索右侧和左侧的对应点，创建场景的深度图像。

此方法运行的工作距离取决于基准（相机之间的距离）， 因此因情况而异。

提高立体系统性能的一种方式是向立体解决方案添加结构光。通过使用光源将明亮的几何图案投射在场景上，可以提高测量结果的准确度，这显著降低因均质表面和低光造成的立体影像缺陷。通过校准投射灯和相机，甚至可以不使用第二台相机。

1.1立体视觉的优点和缺点

优点：

• 可以在较短距离内获得茼精度

• 可以使用2D面阵相机

• 阳光照射不是问题

• 高反光（称为难处理表面）的情况下也可以使用

缺点：

• 不能用于均质表面

• 在低光照条件下不能运行

• 高计算能力导致实时性难以实现

1.2结构光的优点和缺点

优点：

• 可以在较短距离内获得高精度
• 可以使用2D面阵相机
• 阳光照射不是问题
• 高反光（称为难处理表面）的情况下也可以使用

缺点：

• 高计算负载导致实时性难以实现
• 设置复杂、安装成本高、导致总体系统安装成本高昂

1.3立体视觉和结构光的典型应用领域

立体视觉可以实现较高精度。难处理表面不会对立体视觉造成较大影响，但始终要求对象存在少量标记或随机图案。这意味看这种技术一般不太适合在生产环境中使用。立体视觉通常的应用范围包括：坐标测量技术，工业、服务或机器人系统方面应用的对象和工作区的3D测量。 以及危险工作区或 人类无法进入的工作区的3D显示。立体系统也非常适合在室外区域的测是系统中使用，如在锯木厂中测量和检查树干。然而，如果可以接受高处理负载、复杂的安装工作和更高
成本，在添加结构光后，立体视觉也适合进行目标测量的工业应用。

1.4相关资源

1. 结构光(格雷码)和重构

   内含投影仪-相机标定程序:projector-calib-src

   论文：Simple, Accurate, and Robust Projector-Camera Calibration

二、激光三角测量法

在运用激光三角测量法是，结合使用了2D相机和激光光源。在此过程中，激光将线或者点投射在相机前的场景上。激光线或点出现在相机前的对象上，由2D相机记录。如果使相机跨过目标或在目标旁移动（例如通过传送带），被测量对象到芯片之间的距离会改变，那么激光线或点的观察角度随它们的相机图像中的位置一起改变。这样，通过数学运算，对象和光源之间的距离就可以通过图像中的位置坐标计算得出。

2.1激光三角测量法的优点和缺点

优点：

• 精度极高

• 照明条件较差是仍可工作

• 可用于镜面反射或高反光（难处理）表面

缺点：

• 需要对目标进行激光扫描，导致速度变慢

• 工作距离小

• 高精度要求采用非常昂贵的单个组件

• 设置复杂，安装成本高，导致总体系统成本高昂

• 如果没有安全预防措施无法保证眼睛安全

2.2激光扫描仪应用

激光三角测量法对于准确性要求极高的应用，常常是一种好的选择。而对于高反光且光照条件不理想的难处理表面，也建议选择激光三角测量法。举例来说，在亚毫米范围内测量高反光的金属片就是激光三角测量法的典型应用。另外一个例子是对玻璃瓶进行分拣，这种情况下对比度极小。

三、ToF(Time-of-Flight)方法

ToF(Time-of-Flight)方法是获取深度数据及测量距离的非常有效的技术。ToF(Time-of-Flight)相机为每个像素提供两种信息：亮度值（描述为灰度值）以及相机和目标的距离（即深度值）。

ToF(Time-of-Flight)方法有两种不同的用法：连续波和脉冲ToF(Time-of-Flight)方法。

连续波ToF(Time-of-Flight)方法基于亮度调制光源的相位长度测量。该方法较成熟，采用标准电子元件。在此方法中使用的芯片相对较大，只能工作在较低分辨率下。

脉冲的ToF(Time-of-Flight)方法根据许多单个光脉冲的传播时间测量距离。这就需要非常快速和精确的电子元件，以实现+/-1cm精度范围。到目前为止，通过技术进步，能够以合理的成本生成精确的光脉冲及在高分辨率下进行精确测量。这就是脉冲ToF(Time-of-Flight)方法能够继续快速发展的原因，而转向高分辨率的趋势同样显著。

ToF(Time-of-Flight)相机是一个紧凑的系统，没有可移动部件，它由以下组件组成：

• 主动集成光源

• 集成镜头

• ToF(Time-of-Flight)芯片

光源发出脉冲或连续光。这种光照对象，然后返回相机。同时。集成镜头确保反射的光线到达芯片。以简化的方式来诠释，就是以光线再次到达芯片的时间计算距离，从而得出每个像素的深度值。这一方法可以简单且实时地描述散点图/深度图，并可以提供同时记录的强度和置信度的图像。

3.1优点和缺点

优点：

• 一次记录场景，无需扫描
• 高速度
• 在多部分图像中提供2D和3D信息
• 高X/Y分辨率
• 系统紧凑，无锡移动组件
• 在低光照条件下工作理想
• 确保眼睛安全
• 无结构或对比度要求
• 只需提供足够强的光源，可以实现长工作距离
• 总体系统成本低
• 可实现高度实时性

缺点：

• 镜面反射及高反光（难处理）表面存在问题

• 对杂散光敏感

• 太阳光下难以运行

3.2ToF(Time-of-Flight)的典型应用领域

ToF (Time-of-Flight)相机适合长工作距离、高速和低复杂度需求的应用。如果有这些需求，且对低预算的要求高于对毫米级精确度的要求，那么，脉冲的ToF (Time-of-Flight)技术是 正确选择。物流、码探和写垛的容积测是以及物流环境中的自动驾驶车辆都适合采用ToF (Time-of-Flight)相机。ToF (Time-of-Flight)相机在医疗领域也获得了令人兴奋的新任务， 那就是定位和监测患者。在工业领域中，由于ToF (Time-of- FNght)相机的深度精度相对较低，采用这种相机的系统更适合一般化任务，如较大对象的选择和放置应用。它们还可以用于机器人控制系统或大型对象的测畺和位置检测，例如用于汽车制造。

3D技术的比较

B.需要了解的知识

具体内容待补充

1.相机模型与对极几何

• 针孔相机模型

  • 外参数矩阵
  • 内参数矩阵
  • 透视矩阵
  • 径向畸变

• 对极几何

  • 对极约束
  • 基础矩阵
  • RANSAC
  • 基础矩阵F
  • 本征矩阵E
  • 单应矩阵H

C.书籍与其他资源

1. 书籍：《机器视觉与算法应用》
2. 源码：OpenCV、halcon

待补充。。。