数学摄影测量¶

课件内容¶

第一章绪论¶

1 摄影测量学的定义与任务¶

国际摄影测量与遥感协会 ISPRS（Intenational Society of Photogrammetry and Remote Sensing）1988 年给摄影测量与遥感的定义是：摄影测量与遥感是从非接触成像和其他传感器系统、通过记录、量测、分析与表达等处理、获取地球及其环境和其它物体可靠信息的工艺、科学与技术
摄影测量的特点是对影像进行量测与解译等处理，无须接触物体本身，因而较少受到周围环境与条件的限制。被摄物体可以是固体、液体或气体；可以是静态或动态；可以是遥远的、巨大的（宇宙天体与地球）或极近的、微小的（电子显微镜下的细胞）。按照成像距离的不同，摄影测量可分为航天（卫星）摄影测量、航空摄影测量、近景摄影测量和显微摄影测量等。

2 模拟摄影测量¶

3 解析摄影测量¶

用数字投影代替物理投影

4 数字摄影测量¶

发展
大数据
云计算
人工智能
云控摄影测量
航空倾斜摄影技术

航空倾斜摄影技术不同于传统的从单一垂直角度进行拍摄的航空摄影模式，而是在一个飞行平台上同时搭载多个各成角度的感光器件，分别从垂直角度和倾斜布设的 CCD 传感器获取地面多方向的立体图像信息，配合机身携带的高精度导航卫星定位接收机和惯性测量单元（IMU），航摄仪所拍摄图像的绝对位置可以通过地理参考直接计算获得，避免了传统空中三角测量的后处理工作。通过结合倾斜与垂直航拍获取的相片，倾斜摄影技术能获得更立体的地理和环境信息，大大提高地表特征的航摄解译和三维模型生产效率，广泛应用于如实景三维建模、智慧城市等方面。
贴近摄影测量

它充分利用无人机平台在数据获取方面的优势，具有贴合目标表面飞行、自动朝向目标表面拍摄的特点，其核心是“由粗到细”、“以目标为导向”的精细化影像数据自动采集策略。它可以实现非常规地面或者人工物体表面高分辨率影像的高效自动化采集，以及高精度空中三角测量处理，为这些目标的精细化重建奠定基础。
数字摄影测量的定义
定义一：数字摄影测量是基于数字影像与摄影测量的基本原理，应用计算机技术、数字图像处理技术、影像匹配、模式识别等多学科的理论与方法，提取所摄对象用数字方式表达的几何与物理信息的摄影测量学的分支学科。
定义二：数字摄影测量是基于摄影测量的基本原理，应用计算机技术，从影像（包括硬拷贝、数字影像或数字化影像）提取所摄对象用数字方式表达的几何与物理信息的摄影测量学的分支学科。
定义三：以数字影像为数据源，根据摄影测量原理，通过计算机软件处理获取被摄物体的形状、大小、位置及其性质的技术。
定义四：基于摄影测量基本原理，利用计算机对满足视觉立体条件的数字影像进行处理，获取被摄对象在目标空间的几何或物理信息的摄影测量学的分支学科。
定义五：广义摄影测量是利用天空地一体化的多传感器综合观测技术，获取多视角、多模态、多时相、多尺度遥感影像数据，并结合数字摄影测量及计算机视觉等多学科前沿技术，在多源控制资料的辅助下自动化智能化地研究和确定被摄物体的形状、位置、大小、性质及其时序变化关系的一门多学科交叉科学和技术。

5 当代数字摄影测量的发展¶

多源摄影测量数据获取的特点
单视角向多视角成像、单传感器向多模态协同发展
单时相向多时相、单尺度向多尺度融合联动发展
多源摄影测量数据处理中存在的问题
多源摄影测量自动匹配
多源摄影测量影像联合区域网平差
多时相影像智能信息提取与变化监测
激光点云与多视影像联合精细建模
多传感器集成的无人系统自主导航
多传感器集成的智能制造视觉检测
深度学习在摄影测量中的应用
图像检索
语义分割
目标识别
矢量提取
基于深度学习的立体匹配

第五章数字影像与特征提取¶

1 数字影像的采样与重采样¶

数字影像采样

对实际连续函数模型离散化的量测过程。

采样定理
- 当采样间隔能使在函数 g(x)中存在的最高频率中每周期取有两个样本时，则根据采样数据可以完全恢复原函数 g(x)
- 实际上由于原来的影像中有噪声以及采样光点不可能是一个理想的光点，还会产生混淆和其他的复杂现象，因此噪音部分应在采样以前滤掉，并且采样间隔最好是使在原函数中存在的最高频率每周期至少取有 3 个样本。
影像重采样理论
当欲知不位于矩阵（采样）点上的原始函数 g(x,y)的数值时就需进行内插，称为重采样
三种重采样方法
- 双线性插值法
卷积核是一个三角形函数
- 双三次卷积法
卷积核可以利用三次样条函数
- 最邻近像元法
直接取与 P(x,y)点位置最近像元 N 的灰质值为核点的灰度作为采样值
比较
- 最邻近像元法最简单，计算速度快，且能不破坏原始影像的灰度信息, 但几何精度较差。
- 双三次卷积法较费时。（考虑灰度连续性、考虑梯度连续性，耗时较多）
- 双线性插值法较宜。（考虑灰度连续性、未考虑梯度连续性，耗时不大，较适宜）

2 同名核线的确定与重采样¶

通过摄影基线与地面所作的平面称为核面。

核面与影像面交线称为核线

同名像点必定在同名核线上

基于影像几何纠正的核线解析关系
水平像片与倾斜像片的坐标关系
在“水平”影像上获取核线影像

“水平”指与摄影基线平行。取 V=C 即表示某一核线。在“水平”影像上等间距选点，计算其在倾斜影像上的坐标。
核线的重排列（重采样）

由于所求得的像点不一定恰好落在原始采样的像元中心，这就必须进行灰度内插——重采样。
同名核线的确定

同名核线的 v 坐标值相等
基于共面条件的同名核线几何关系

直接在倾斜影像上获取核线影像，\(p\)和\(p^\prime\)不一定是同名点。

左核线的确定
右核线的确定
参数的确定
单独法相对定向
核线的重排列（重采样）
- 线性内插
只需要在 y 方向上进行内插
- 邻近点法
根据核线的斜率是定值，可以计算一个图像行要连续取多少个像元。

3 点特征提取算法¶

点特征

点特征主要指明显点，提取点特征的算子称为兴趣算子

主要有三类：

第一类是基于形状的兴趣算子：特征点位于轮廓线的最大曲率处，或两条线段的交点处；
第二类是基于信号的兴趣算子：可以用信号处理的技术和方法来处理图像信息；
第三类是基于模板的兴趣算子；它是针对具体的特征点来设计特定模板的。
点特征的灰度特征
Moravec 算子

利用灰度方差提取点特征的算子，最大-最小灰度方差

计算各像元的兴趣值 IV
给定一经验阈值，将兴趣值大于阈值的点作为候选点
选取候选点中的极值点作为特征点

Moravec 算子是在四个主要方向上选择具有最大-最小灰度方差的点作为特征点。
Forstner 算子

Robert’s 梯度和灰度协方差矩阵，寻找具有尽可能小而接近圆的误差椭圆的点作为特征点。

点位误差的概念：待定点的点位精度通常用点位中误差来描述，与坐标系选择无关，是一个平均量。

误差曲线、误差椭圆

计算各像素的 Robert’s 梯度
计算 l×l（如 5×5 或更大）窗口中灰度的协方差矩阵
计算兴趣值 q 与 w

q 即像素（c,r）对应误差椭圆的圆度。w 为该像元的权
确定待定点
选取极值点

即在一个适当窗口中选择最大的待选点。

由于 Forstner 算子较复杂，可首先用一简单的差分算子提取初选点，然后采用 Forstner 算子在 3×3 窗口计算兴趣值，并选择备选点最后提取的极值点为特征点。
基于 Harris 算子的点特征提取算法

自相关函数相联系的矩阵 M,M 阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，则认为该点是点特征。

设\(\lambda_1,\lambda_2\)是 M 的两个特征值，\(\lambda_1,\lambda_2\)局部自相关函数的主曲率成比例。可以通过判断\(\lambda_1,\lambda_2\)的值的情况来判断平坦区、角点和边沿，有以下 3 种情况。

其计算过程如下

首先确定一个 n 乘 n 大小的影像窗口，对窗口内的每一个像素点进行一阶差分运算，求得在 xy 方向的梯度
对梯度值进行高斯滤波，高斯卷积模板 sigma 取 0.3 到 0.9
根据公式，计算强度值 M
选取局部极值点，在窗口内取最大值。

Harris 算法的优缺点

优点：
- 计算简单，只是用到灰度的一阶差分（算法优劣 2 个判据）
- 提取的特征点均匀分布合理
- 可以定量的提取特征点
- 算法稳定
缺点
- 对尺度变化敏感。
- 检测速度较慢
SUSAN 算法（Smallest Univalue Segment Assimilating Nucleus，即同化核分割最小值）

掩膜核及掩膜完全包含在图像中时，USAN 的值最大；当模板移向图像边缘时，USAN 区域逐渐变小，掩膜核在图像的一条直线边缘附近时，USAN 值接近其最大值的一半；掩膜核在图像的一个角点处，USAN 值接近最大值的 ¼。搜索图像角点或边缘点，就是搜索 USAN 最小的点

4 线特征提取算子¶

线特征

“边缘”影像局部区域特征不相同的区域间的分界线

“线”是具有很小宽度的，其中间区域具有相同的影像特征的边缘对

线的灰度特征
微分算子
梯度算子

x,y 方向得到的梯度模长
差分算子

x,y 方向差值绝对值之和
Roberts 梯度算子

对角方向得到的梯度模长
方向差分算子
Sobel 算子

考察它上下、左右邻点灰度的加权差，与之接近的邻点的权大。相当于比 Prewitt 算子多了平滑过程。
Prewitt 算子
Canny 算子

利用高斯函数对图像进行低通滤波；然后对图像中的每个像素进行处理，寻找边缘的位置及在该位置的边缘法向，并采用一种“非极大抑制”的技术在边缘法向寻找局部最大值；最后对边缘图像做滞后阈值化处理，消除虚假响应。
- 利用高斯平滑滤波器与图像做卷积以去除噪声
- 用一阶偏导的有限差分计算梯度的幅值和方向
- 对梯度幅值进行非极大值抑制
- 用双阈值检测并连接边缘
二阶差分算子
方向二阶差分算子
拉普拉斯算子

取其符号变化的点，即通过零的点为边缘点，通常也称其为零交叉点
高斯-拉普拉斯算子
- 高斯函数
- 低通滤波
- 边缘提取
Hough 变换

用于检测图像中直线、圆、抛物线、椭圆等

提取特征并计算其梯度方向
设置累计矩阵 H
边缘细化
设置一小区间
将大于阈值的点作为备选点
取累计矩阵中备选点中的极大值点为所需的峰值点
LSD(Line Segment Detector)
利用高斯模板对原始图像进行去噪处理；
计算每个像素的梯度幅值和梯度方向，并对梯度幅值进行排序，按照梯度幅值的顺序，通过迭代方法将具有梯度方向相似性的像素划分为具有同一梯度方向的像素区域；
利用矩形结构逼近这些相同梯度方向的区域，取矩形结构的中心线作为该区域线段特征。

5 定位算子¶

Wong-Trinder 圆点定位算子
利用二值图像重心对圆点进行定位
利用阈值\(T＝(最小灰度值+平均灰度值)/2\) 将窗口中的影像二值化
利用矩计算目标重心坐标(x,y)与圆度
Trinder 改进算子
以原始灰度为权，误差可变小。
Forstner 定位算子

Forstner 定位算子分最佳窗口选择与最佳窗口内加权重心化两步进行。其速度快、精度较高。

最佳窗口选择由 Forstner 特征提取算子确定。然后以原点到窗口内边缘直线的距离为观测值，梯度模之平方为权，在点(x,y)处列误差方程。由最小二乘平差可解得角点坐标。

高精度角点与直线定位算子

边缘法线方向位置与灰度的关系

初值确定：Hough 变换确定直线参数初值
粗差的剔除：采用选权迭代法，使粗差在平差的过程中自动地被逐渐剔除
窗口的选择：精确定位窗口在粗定位矩形窗口中确定
角点定位

第六章影像匹配基础理论与算法¶

影像匹配：寻找影像之间的同名点（同一地面点在不同影像上的成像）。

摄影测量将摄影的影像形成“一张图”成果。几乎所有的几何处理都离不开影像匹配，它是自动空中三角测量和自动生成数字表面模型（DSM）的基础。

1 影像相关的基本原理¶

相关原理

影像相关是利用互相关函数，评价两块影像的相似性以确定同名点。

相关函数
电子相关
数字相关
- 二维相关
- 一维相关：核线影像上只需要进行一维搜索

2 影像相关的谱分析¶

影像相关的谱分析
维纳-辛钦定理：随机信号的相关函数与其功率谱是一傅立叶变换对
影像功率谱的估计
功率谱的估计函数：近似指数函数
相关函数的估计
分析结果
- \(S(f)\)较平缓，高频信息较丰富，相关函数\(R(\tau)\)较陡峭，相关精度高，拉入范围较小，出错率高
- \(S(f)\)较陡峭，低频信息占优势，相关函数\(R(\tau)\)较平缓，相关精度较差，拉入范围较大，出错率低
金字塔影像相关
通过相关函数的谱分析可知，当信号中高频成分较少时，相关函数曲线较平缓，但相关的拉入范围较大；反之，当高频成分较多时，相关函数曲线较陡，相关精度较高，但相关拉入范围较小。
此外，当信号中存在高频窄带随机噪声或信号中存在较强的高频信号时，相关函数出现多峰值，因此会出现错误匹配。
综合考虑相关结果的正确性（或称为可靠性）与精度（准确性），得出目前广泛应用的从粗到精的相关策略。即先通过低通滤波，进行粗相关，找到同名点的粗略位置，然后利用高频信息进行精确相关。
通常，先对原始信号进行低通滤波，进行粗相关，将其结果作为预测值，逐渐加入较高的频率成分，在逐渐变小的搜索区中进行相关，最后用原始信号，以得到最好的精度，这就是分频道相关的方法。
对于二维影像逐次进行低通滤波，并增大采样间隔，得到一个像元总数逐渐变小的影像序列，依次在这些影像对中相关，即对影像的分频道相关。将这些影像叠置起来颇像一座金字塔，因而称之为金字塔影像结构。
金字塔影像的建立
每 n×n 个像元平均为一个像元构成第二级影像，然后在第二级影像的基础上构成第三级影像。主要有四像元平均和九像元平均。
金字塔影像层的确定方法

原始影像称第零层，第一层影像每一像素相当于零层\(（l\times l）^1\)个像素，第 k 层影像每一像素相当于零层的\(（l\times l）^k\)个像素。
- 由影像匹配窗口大小确定金字塔影像层数
使最上层的像元个数在列（行）方向上介于匹配窗口像素列（行）数的\(1\sim l\)倍之间
- 由先验视差确定金字塔影像层数
S 是搜索像素，\(\Delta\)是像素大小。要保证最上层的最大左右视差与左右搜索的距离相等

3 影像匹配的基本算法¶

影像匹配实质上是在两幅（或多幅）影像之间识别同名点

常见的五种基本匹配算法
相关函数（矢量数积）
协方差函数（矢量投影）
相关系数（矢量夹角）

实用公式
差平方和（差矢量模）
差绝对值和（差矢量分量绝对值和）
基于物方的影像匹配（VLL 法）

影像匹配的目的是提取物体的几何信息，确定其空间位置。因而在由前面所述的影像匹配方法获取左右影像的位移（视差）后，还要利用空间前方交会解算其对应的物点的空间三维坐标，然后建立数字表面模型（如数字地面模型 DTM）。在建立数字表面模型时可能还会使用一定的内插方法，使得精度或多或少地降低。

能够直接确定物体表面点空间三维坐标的基于物方的影像匹配方法被称为”地面元影像匹配” 。此时待定点的平面坐标是已知的，只需要确定其高程。因而基于物方的影像匹配也可以理解为高程直接解求的影像匹配方法。

铅垂线轨迹法（VLL）

在物方有一条铅垂线轨迹，它在影像上的投影是一直线。
具体步骤
- 给定地面点的平面坐标\((X，Y)\)与近似最低高程\(Z_{min}\)。\(Z_i＝Z_{min}＋i\cdot \Delta Z\)高程搜索步距\(\Delta Z\)可由所要求的高程精度确定。
- 由地面点平面坐标\((X，Y)\)与可能的高程。\(Z_i＝Z_{min}＋i\cdot \Delta Z\)。计算左、右影像坐标\((x^\prime_i,y^\prime_i)\)与\((x^{\prime\prime}_i,y^{\prime\prime}_i)\)。
- 分别以\((x^\prime_i,y^\prime_i)\)与\((x^{\prime\prime}_i,y^{\prime\prime}_i)\)为中心在左右影像上取影像窗口，计算其匹配测度。
- 将\(i\)的值增加 1，重复（2），（3）两步，得到\(\rho_0,\rho_1,\rho_2,\cdots\rho_n\)取其最大者\(\rho_k\)。
- 利用\(\rho_k\)及其相邻的几个相关系数拟合一抛物线，以其极值对应的高程作为 A 点的高程。
实际中，影像窗口形状不一定相同，需要进行仿射变换重采样。匹配是从像方的特征点出发，以避免地面点是非特征点的情况，并且是沿光线而不是铅垂线逐高程计算的，
影像匹配精度

影像匹配（相关）即使在定位到整像素的情况下，其理论精度也可达到大约 0.3 像素的精度。

用相关系数的抛物线拟合提高相关精度，可使相关精度达到 0.15-0.2 子像素精度。

4 最小二乘法影像匹配¶

影像匹配可达到 1/10 甚至 1/100 像素的高精度。

最小二乘影像匹配原理
优点：
- 非常灵活地引入各种已知参数和条件，从而可以进行整体平差；
- 解决“单点”的影像匹配问题，求“视差”；直接解求其空间坐标；
- 同时解决“多点”影像匹配或“多片”影像匹配；
- 引入“粗差检测”，大大地提高影像匹配的可靠性；
- 甚至可用于解决影像遮蔽问题。
灰度差的平方和最小、辐射畸变、几何畸变
在影像匹配中引入辐射畸变、几何畸变这些变形参数，同时按最小二乘的原则解求这些参数，就是最小二乘影像匹配的基本思想
单点最小二乘影像匹配
两个二维影像之间的几何变形，不仅仅存在着相对移位还存在着图形变化。使用仿射变换参数描述几何变形。
灰度畸变用线性参数描述。
具体步骤
- 几何变形改正：仿射变换模型
- 重采样：几何变形改正后的处理
- 辐射畸变改正
- 解求变形参数的改正值
- 停机条件
- 计算最佳匹配的点位：匹配精度取决于影像灰度的梯度
仅考虑辐射的线性畸变的最小二乘匹配——相关系数
仅考虑影像相对移位一维最小二乘匹配

传统的算法采用目标区相对于搜索区不断地移动一个整像素，搜索最大相关系数的影像区中心作为同名像点。在最小二乘影像匹配算法中，可引入几何变形参数，直接解算影像移位。

最小二乘影像匹配的精度
影像匹配的精度与相关系数有关，相关系数愈大则精度愈高。换言之，它与影像窗口的“信噪比”有关。
“信噪比”愈大，则匹配的精度愈高。“信噪比”可以根据影像的功率谱进行估计，因此由此公式可以在影像匹配之前估计出影像匹配的“验前方差”。
另外影像匹配的精度还与影像的纹理结构\(\sigma_g/\sigma_{\dot{g}}\)有关。\(\sigma_{\dot{g}}\)愈大，影像匹配精度愈高。
多点最小二乘影像匹配（有限元最小二乘影像匹配）
视差表面平滑

强调了一致性，整体协调性

5 特征匹配¶

特征匹配的概念
使用场合
- 当待匹配的点位于低反差区内
- 目的只需要配准某些点线或面
- 在城市中大多数对象是人工建筑
特征匹配步骤
- 特征提取
- 特征描述
- 特征匹配
基于特征点的影像匹配的策略
特征提取

将特征点分成几个等级，不同的目的提不同特征点。

特征点的分布有：随机分布、均匀分布
特征点的匹配

二维匹配与一维匹配
- 影像方位参数未知时，必须进行二维影像匹配。
- 建立影像模型，形成核线进行一维匹配。
匹配的备选点选择方法
- 对右影像也进行相应特征提取，挑选预测区内的特征点作为可能的匹配点；
- 右影像不进行特征提取，将预测区内的每一个点都作为可能的匹配点；
- 右影像不进行特征提取，但也不将所有的点作为可能的匹配点，而用“爬山法”搜索，动态地确定各选点。爬山法主要用于二维匹配。对一维匹配仅用于在搜索区边沿取得匹配测度最大的情况。
特征点的提取与匹配的顺序
- 深度优先
对上一层左影像每提取到一个特征点，即对其进行匹配。然后将结果化算到下一层影像进行匹配，直至原始影像，并以该匹配好的点对为中心，将其邻域的点进行匹配。再上升到第一层，在该层已匹配点的邻域选择另一点，进行匹配，将结果化算到原始影像，重复过程，直至第一层最先匹配的点的邻域中的点处理完，再回溯到第二层，如此进行。
- 广度优先
首先对最上一层影像进行特征提取与匹配，将全部点处理完后，将结果化算到下一层，并加密，进行匹配。重复以上过程，直至原始影像。
匹配的准则

运用一定的相似性测度，一般还可考虑特征的方向，周围已匹配点的结果。
粗差的剔除

可在小范围内利用倾斜平面或二次曲面为模型进行视差拟合，将残差大于某一阈值的点作为粗差剔除
跨接法影像匹配
处理影像几何变形的影响通常有两种方式：
- 不顾及几何变形作“粗匹配”，后用其结果作几何改正再匹配。是一种从粗到细的迭代过程。
- 最小二乘影像匹配将影像匹配与几何改正均作为参数同时解算。由于观测值方程的非线性，它是一个迭代过程（性质与前一方式不同）。最小二乘需要较好的近似值。
跨接法先作几何改正，后作影像匹配。
原理过程
- 特征提取
- 构成跨接法匹配窗口
- 几何改正，重采样
- 相关
SIFT 算子
特点
- SIFT 特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
- 独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
- 多量性，即使少数的几个物体也可以产生大量 SIFT 特征向量；
- 高速性，经优化的 SIFT 匹配算法甚至可以达到实时的要求；
- 可扩展性，可以很方便的与其他形式的特征向量进行联合；

主要步骤

尺度空间的极值探测

在视觉信息(图像信息)处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下的视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。
- 尺度空间满足视觉不变性
- 满足灰度不变性和对比度不变性。
- 满足平移不变性、尺度不变性、欧几里德不变性以及仿射不变性
- 高斯卷积核是实现尺度变换的唯一的线性核。在不同尺度下的尺度空间表示可由图像与高斯核卷积得到。
- DOG 算子
DOG.算子的计算效率高；

高斯差分函数是比例尺归一化的“高斯－拉普拉斯函数”（LOG 算子）的近似。其为为最小和最大时，影像上能够产生大量、稳定的特征点，并且特征点的数量和稳定性比其它的特征提取算子（如 Hessian 算子、Harris 算子）要多得多、稳定得多。
- 高斯差分尺度空间的生成
- 在第一层尺度空间中，利用\(\sigma\cdot 2^{n/2}\)卷积核分别对原始影像进行高斯卷积，生成高斯金字塔影像(S+3 张)，其中 n 为高斯金字塔影像的索引号( 0,1,2... S+2), S 为该层尺度空间的子层数。
- 将第一层尺度空间中的相邻高斯金字塔影像相减，生成高斯差分金字塔影像
- 不断地将原始影像降采样 2 倍，并重复类似 1)和 2)的步骤，生成下一层尺度空间。
当尺度空间子层数 S=3 时，提取的极值点具有最好的重复性

随着\(\sigma\)值的增大，提取的极值点的重复性也逐渐增大，当\(\sigma=1.6\)时最佳
- 局部极值探测
  
  每个采样点与它所在的同一层比例尺空间的周围 8 个相邻点和相邻上、下比例尺空间中相应位置上的 9x2 个相邻点进行比较
关键点的精确定位
- 通过拟合三维二次函数以精确确定关键点的位置（达到子像素精度）
- 去边缘效应
确定关键点的主方向
- 利用关键点的局部影像特征（梯度）为每一个关键点指定一个主方向（梯度最大的方向）
- 利用高斯函数对窗口内各像素的梯度大小进行加权（越靠近关键点的像素，其梯度方向信息贡献越大）
关键点的描述
- 将坐标轴旋转到关键点的主方向，只有以主方向为零点方向来描述关键点才能使其具有旋转不变性。
- 然后以关键点为中心取 8×8 窗口
- 为了增强匹配的稳健性，Lowe 建议对每个关键点使用 4×4 共 16 个种子点来描述，这样对于每个关键点就可以产生 128 维的向量,即 SIFT 特征向量。
寻找最临近点（匹配）

采用关键点特征向量的欧式距离(Distacne)作为两幅影像中关键点的相似性判定度量。距离最小的两个点对即为匹配点。

6 密集匹配¶

局部匹配
沿核线一维搜索
重复纹理造成的歧义解问题
同名点的匹配转换为视差图的匹配
全局匹配
将匹配作为一个能量最小化的问题整体解求所像素的视差值。
半全局匹配
SGM 能量函数
- 第一项为数据项(data term)，对应为匹配代价；
- 后两项为光滑约束项(smoothness term)，其中第二项表示邻域视差变化值为 1 时惩罚值为 P1 ，第三项表示当邻域视差变化超过 1 时惩罚值为 P2，P1 << P2

第七章数字地面模型的建立与应用¶

1 数字地面模型的概念¶

数字地面模型的发展过程
不同的学科中的 DTM 不同，而测绘学一般将以高程数据为主的地形几何要素作为了 DTM 的内容，一般称为数字高程模型（Digital Elevaion Model，简称 DEM）。
地理信息系统将各种地理信息的空间分布和属性结合起来进行管理和应用，它的数字地面模型包含地形特征信息以及其它信息。
数字地面模型的概念及其形式
地形表面形态等多种信息的一个数字表示。DTM 是定义在某一区域 D 上的 m 维向量有限序列。
数字高程模型 DEM（Digital Elevation Model）或 DHM(Digital Height Model) 是表示区域 D 上地形的三维向量有限序列。
数字高程模型 DEM 表示形式
规则矩形格网

存贮量小，便于使用，容易管理，有时不能准确表示地形的结构与细部，因此基于 DEM 描绘的等高线不能准确地表示地貌。
不规则三角网 TIN

能较好地顾及地貌特征点、线，表示复杂地形表面比矩形格网精确。数据量大，数据结构复杂，使用和管理也较复杂。
Grid-TIN 混合网

充分利用了规则矩形格网与不规则三角网 DEM 的优点，数据结构复杂

2 数字高程模型的数据获取及预处理¶

DEM 数据点的采集方法
地面测量：利用自动记录的测距经纬仪在野外实测
现有地图数字化：手扶跟踪数字化仪、扫描数字化仪
空间传感器：激光测高仪、合成孔径雷达系统
数字摄影测量的 DEM 数据采集方式
沿等高线采样
规则格网采样
沿断面扫描
渐进采样
- 计算两点间中点的二次内插值与线性内插值之差
- 利用高程的二阶差分，可以判断地形是否平坦，同样可以作为是否加密采样的判据。
选择采样：根据地形特征进行选择采样
混合采样：将规则采样与选择采样结合起来进行
自动化 DEM 数据采集：按影像上的规则格网利用数字影像匹配进行数据采集。
DEM 数据预处理
数据分块方法
- 交换法：同一块地址连续，存放在一起。
- 链指针法：对于每一数据点，增加一存贮单元，存放属于同一个分块格网中下一个点在数据文件中的序号

3 数字高程模型的内插方法¶

移动曲面拟合法

根据参考点上的高程求出其它待定点上的高程

步骤
- 建立局部坐标
- 选取邻近数据点
- 计算每一数据点的权
注意事项
- 除满足 n＞6，保证各象限都有数据点;
- 当地形起伏较大时，半径 R 不能取很大;
- 当数据点较稀或分布不均匀时，可能产生很大的误差;
加权平均水平面移动拟合法
- 采用了多个邻近点之加权平均水平面移动拟合法内插
多面函数内插方法

任何一个圆滑的数学表面总是可以用一系列有规则的数学表面的总和，以任意的精度进行逼近。

核函数
误差方程
法化求解
任意一点上的高程
多面函数法解算

m=n 时，a 可以简化
有限元内插方法

为了解算一个函数，把它分成为许多适当大小的“单元”，在每一单元中用一个简单的函数，例如多项式来近似地代表它。

一次样条有限元 DEM 内插

误差方程式

虚拟观测值误差方程式
- 保证地面的圆滑，可利用 X 和 Y 方向上的二次差分条件
断裂线的处理
- 作线性内插
为了突出断裂线所显示的特征，可在原始采集的数据点的基础上作线性内插，加密断裂线点，特别是断裂线与 DEM 格网线交点的平面坐标与高程。
- 重新划分区域
将计算单元按断裂线划分成子区，并确定每个子区由哪几条断裂线与边界线组成。
- 不属于该子区的数据点不参加该子区的平差计算
- 跌落法：过数据点作半垂线，根据其与子区边界线交点数量判断是否在该子区内。
- 符号判断法：将数据点坐标代入边界直线方程。在子区中的数据点具有相同的符号。
- 分子区进行内插计算

4 DEM 的精度及存储管理¶

估计 DEM 的精度方法
由地形功率谱与内插方法的传递函数估计 DEM 精度
利用检查点的 DEM 精度评定

在 DEM 内插时，预留一部分数据点作为检查点,在建立 DEM 之后，由 DEM 内插出这些点的高程，DEM 的精度
DEM 的存贮管理
DEM 数据文件的存贮
地形数据库
DEM 数据的压缩
- 整型量存贮
- 差分映射
相邻数据间的增量，数据范围较小，可以利用一个字节存贮一个数据
- 差分游程法（增量游程法）
当差分的绝对值大于 127 时，将该数据之前的数据作为一个游程

有很高的压缩率，但当游程较长时，数据的恢复需要较多的运算时间，因而其使用与管理不如小模块差分法方便
- 小模块差分法（小模块增量法）
将 DEM 分成较大的格网——小模块，每一模块包含 5×5 或 10×10 个 DEM 格网

保证每一数据能存入一字节中，需要在原始差分的基础上乘以一个系数。

该方法的优点是每一记录的长度是固定的，因而每一记录与各个小模块的联系是确定不变的。对该区域的任意一点根据其平面坐标，就可以很容易计算其所在的小模块编号，根据这个编号可从文件中直接取出该小模块的数据，且只需恢复该小模块的各点数据，因此其使用是较方便的。该方法的压缩率也是比较高的，通常可达到用实型数存贮的三分之一到近四分之一。
- 压缩编码
用位数（bit）最短的码表示出现概率最大的数，概率较小数用位数较长的码表示。
DEM 的管理

5 不规则三角网的建立与应用¶

三角网数字地面模型的构建

Delaunay 三角网（狄洛尼）的特性

不存在四点共圆；
每个三角形对应于一个 Voronoi 图顶点；
每个三角形边对应于一个 Voronoi 图边；
每个结点对应于一个 Voronoi 图区域；
三角网数字高程模型的构建方法

TIN 的三角剖分准则，它决定着三角形的几何形状和所构不规则三角网的质量。空外接圆准则、最大最小角准则、最短距离和准则、张角最大准则、面积比准则、对角线准则

三角网生长算法
- 选取一个点作为起始点，从这个点开始进行构网直至形成所构三角网覆盖整个数据区域。
- 根据生长过程的不同，可以将三角网生长算法划分为收缩生长算法和扩张生长算法。
- 收缩生长算法是由外而内，先进行数据域的边界（凸壳）的构建，构建完成后，由此为基准，逐渐向内收缩直到形成整个三角网
逐点插入算法
- 定义包含所有数据点的最小外界矩形范围，并以此作为最简单的凸闭包；
- 按一定规则将数据区域的矩形范围进行格网划分；
- 剖分数据区域的凸闭包形成两个超三角形，所有数据点都一定在这两个三角形范围内；
- 对包含 P 点的三角形进行搜索，得到搜索结果三角形 T，将 P 与 T 的三个顶点相连，结果得到三个三角形，由内而外对整个三角网进行优化，重复上述步骤直至所有的点都处理完毕。
分割合并算法
- 先将数据点划分成多个子集，每个子集是易于进行三角化的，分别对每个子集进行三角剖分，三角剖分过程中运用 LOP 算法，保证得到的每个子集的三角网都是 Delaunay 三角网。
- 完成每个子集的三角剖分后，合并得到的子集的 Delaunay 三角网，从而得到最终的三角网。分割合并算法的思想相对来说比较简单。
三维三角网格的构建
角度判断法建立 TIN
- 已知三角形的两个顶点，计算备选第三顶点的三角形内角的大小，选择最大者对应的点为该三角形的第三顶点
- 将原始数据分块
- 确定第一个三角形
- 三角形的扩展
三角网数字地面模型的存贮
直接表示网点邻接关系的结构
- 存贮量小，编辑方便。
- 计算量较大，不便于 TIN 的快速检索与显示。
直接表示三角形及邻接关系的结构
- 检索效率高，但存贮量较大，编辑不方便。
混合表示网点及三角形邻接关系的结构

6 数字地面模型的应用¶

基于矩形格网的 DEM 多项式内插
双线性多项式（双曲抛物面）内插

双线性多项式内插只能保证相邻区域接边处的连续，不能保证光滑。
双三次多项式（三次曲面）内插

保证相邻曲面之间的连续与光滑
三角网中的内插
格网点的检索
高程内插
等高线的绘制
基于矩形格网 DEM 自动绘制等高线
- 确定等高线高程（最低等高线高于 DEM 最低值，最高等高线低于 DEM 最高值）
- 计算状态矩阵（表示等高线穿过 DEM 格网水平边与竖直边的状态）
“1”代表格网边有等高线通过

“0”代表格网边没有等高线通过
- 等高线的起点和终点的处理
- 先搜索开曲线，沿 DTM 的四边搜索
  
  在搜索到开曲线起点之后，要将其起点置 0.
- 处理完开曲线，再处理闭曲线，可按行（列）顺序搜索，搜索到的第一个边即为闭曲线的起点，起点也是终点，不能置 0
- 内插等高线点
- 水平边上的内插
- 垂直边上的内插同理
- 搜索下一个等高线点
- 由进入边开始 IN=1，按逆（顺）时针搜索离去边号，将状态矩阵相应边置 0，并确定下个格网的进入边编号。
- 若四条边都有等高线穿过，可根据中心点高程与进入边两端点高程判断
- 地形特征线的处理
- 若在某一条格网边上有地形特征线穿过。此时就可能在同一条格网边上出现两个等高线点。必须特征线与格网线的交点与相应的格网点内插等高线点，而不能直接用格网点内插等高线；在跟踪搜索等高线时，当等高线穿过山脊线(或山谷线)，还必须在山脊线(山谷线)上补插等高线点。
- 特征线穿过一个 DTM 格网边共有 6 种情况。它将一个格网分成 2 个多边形（三角形、四边形或五边形）。
- 对于断裂线，则不存在离去边，等高线就终止在断裂线上。对闭曲线应从其起点向另一方向搜索。
基于三角网的等高线绘制

精度高、非规则边界、穿过三角形一次
- 基于三角形搜索的等高线绘制
对于记录了三角形表的 TIN，按记录的三角形搜索。
1. 对给定高程，将其与所有网点高程进行比较。若与网点高程相等，则将该网点高程加上（减去）一个微波正数，以使程序设计简单且不影响精度；
2. 设立三角形标志数组，其初始值为零，每一个元素与一个三角形对应，凡处理过的三角形将标志置为 1，以后不再处理，直至等高线高程改变；
3. 按顺序判断每一个三角形的三边中的两条边是否有等高线穿过。直至搜索到等高线与网边的第一个交点，作为搜索起点，也是当前三角形的等高线进入边。线性内插该点的平面坐标；
4. 搜索该等高线在该三角形的离去边，也是相邻三角形的进入边，并内插其平面坐标，搜索方法与 3 类似，但是是对另外两边进行搜索；
5. 进入相邻三角形，重复第 4 步直至离去边没有相邻三角形（开曲线），或相邻三角形为搜索起点所在的三角形（闭曲线）；
6. 对于开曲线，将已搜索到的等高线点顺序倒过来，并回到搜索起点向另一方向搜索，直至到达边界；
7. 当一条等高线全部跟踪完后，将其光滑输出。然后继续三角形的搜索，直至全部三角形处理完，再改变等高线高程，重复以上过程，直至完成全部等高线的绘制为止。
8. 基于格网点搜索的等高线绘制
对于仅记录了网点邻接关系的 TIN，只能按参考点的顺序，逐条格网边进行搜索。
1. 由于网点邻接关系中对每条格网边描述了两次，为了避免重复搜索，建立一个与邻接关系对应的标志数组，初值为零。每当一个边被处理后，与该边对应的标志数组两个单元均置 1，则以后检测两个单元中的任意一个，均知道该边已处理过；
2. 按格网点的顺序进行搜索；
3. 对每一格网点，按所记录的与该点形成格网边的另一端点的顺序搜索，直至搜索到第一个有等高线穿过的边的端点 Q1，并内插该等高线；
4. 搜索以 Q1 为端点的该格网边的相邻边，若有等高线穿过，内插该点平面坐标。若相邻边没有等高线通过，则由该格网边另一端点的相邻边，搜索下一等高线点，并内插出其平面坐标；
5. 重复第 4 步，直至找不出下一个点。若最后一个点的坐标与起始点坐标相同，则为闭曲线，否则为开曲线。对开曲线按前述方法，从起始点反向搜索，直至终点；
6. 将等高线光滑输出；
7. 转到第 3 步，直至该点为端点的所有格网边处理完；
8. 转第 2 步，直至 TIN 的每一点处理完。然后改变等高线高程，重复以上过程。
等高线光滑（曲线内插）
- 曲线应通过已知的等高线点；
- 曲线在节点处光滑；
- 相邻两个节点间的曲线没有多余的摆动；
- 同一等高线自身不能相交；
张力样条函数用于解决多余的摆动问题，但是一般来说利用分段三次多项式插补方法也能满足后两个条件。
立体透视图
立体透视图制作流程
- 选择适当的参考面高程 Z0，和高程的放大倍数 m.
- 选择适当的视点位置\(XS,YS,ZS\)；视线方位\(t\)（视线方向），\(\varphi\)（视线的俯视角度）
- 透视变换
视点为“摄影中心”，用共线方程从物点坐标计算“像点”。
- 确定像面主距 f
计算 DEM 四个角点的视线投射角\(\alpha,\beta\)，取出最小最小值。按公式计算主距。
- 计算 DEM 各节点的“像点”坐标
- 消隐处理
- 峰值法或高度缓冲器算法
  1. 定义一个包含ｍ个元素的缓冲区，每个元素对应一列。将缓冲区初始化为 ymin 或 0
  2. 绘制每个线段时，首先计算该线段上所有点的像坐标。线段端点对应绘图区列号如下图方法计算。
  3. y 坐标由线性内插计算，将该“点”的 y 坐标ｚ(ｋ)与缓冲区中的相应单元存放的坐标进行比较。若小于缓冲区中的坐标，则被遮挡，不必绘出。否则应当绘出，并将此坐标更新相应缓冲区单元。
DEM 的其他应用
坡度、坡向的计算

4 个格同网点拟合一平面，根据法向量，计算坡度和坡向
计算地表面积

需要根据有无特征点进行处理
体积计算

需要根据有无特征点进行处理
剖面计算
单像修测

由于地图修测的主要内容是地物的增减，因而利用已有的 DEM 可进行单幅影像的修测，这样可节省资金与工时。
1. 进行空间后方交会，确定方位元素；
2. 量测像点坐标(x,y)；
3. 取一高程近似值 Z0
4. 将(x,y)与 Z0 代入共线方程，计算出地面平面坐标近似值
5. 由平面坐标及 DEM 内插出高程 Z1；
6. 重复 4 和 5，直至两次迭代地面坐标之差小于限差。
用单幅影像与 DEM 进行修测是一个迭代求解的过程，当地面坡度与物点投影方向与竖直方向夹角之和大于等于 90 度时，迭代将不会收敛。此时，可在每两次迭代后，求出其高程平均值作为新的 Z0，或在三次迭代后由下式计算近似正确高程。\(Z=\cfrac{Z_1Z_3-Z_2^2}{Z_1+Z_3-2Z_2}\)

第八章数字微分纠正¶

1 数字微分纠正的概念¶

根据有关的参数与数字地面模型，利用相应的构像方程式，或按一定的数学模型用控制点解算，从原始非正射投影的数字影像获取正射影像

2 框幅式中心投影影像的数字微分纠正¶

数字微分纠正的基本原理

点元素纠正、线元素纠正、面元素纠正。

实现两个二维图像之间的几何变换

反解法（间接法）数字微分纠正
计算地面点坐标（正射影像上）；
计算像点坐标

由共线方程计算，地面点 Z 坐标通过 DEM 内插求得；
灰度内插

由于所求得的像点坐标不一定正好落在像素中心，为此必须进行灰度内插；
灰度赋值；
正解法（直接法）数字微分纠正
需要假定 Z 的近似值，进行迭代。
纠正后的图像上，所得的像点是非规则排列的，有的像素内可能出现“空白”，而有的像素可能出现重复。因此很难实现灰度内插并获得规则排列的数字影像。
数字纠正实际解法及分析

从原理上讲，数字纠正是点元素纠正，但在实际的软件系统中，基本上都是以“面元素”作为纠正单元，一般以正方形作为纠正单元。即用反算公式计算该纠正单元 4 个角点的像点坐标，而纠正单元内的坐标则用双线性内插求得。

3 线性阵列扫描影像的数字纠正¶

扫描行之间的外方位元素各自不同，随时间不断变化，线性阵列扫描影像是多中心投影影像。

基于共线方程的数字微分纠正
间接法纠正

t 值实际上表达了上图坐标系中像点 p 在时刻 t 的 y 坐标。

迭代求解 t 后，求像点 x 坐标
直接法纠正
- 给定高程初始值
- 计算平面坐标近似值
- 用 DEM 与(X1,Y1)内插出高程 Z1
- 对应的地面点(X,Y,Z)
直接法与间接法相结合的方法
- 规则格网点对应的地面坐标的解算
- 得到地面一非规则格网
- 内插出地面规则格网点
- 各地面元对应像素坐标的计算
有理函数模型
有理函数模型是将像点坐标（r,c）表示为以相应地面点空间坐标（P，L，H）为自变量的多项式的比值。
优点：适用范围广、对卫星参数的保密性、处理效率高。
缺点：不是严密模型，损失精度、方程解的不稳定性（参数相关、插值误差等）、不适用于变形大的影像（航空或异轨模式的影像）等。

4 立体正射影像对的制作¶

基本思想

正射影像既有正确的平面位置，又保持着丰富的影像信息，这是它的优点。但是，它的缺点是不包含第三维信息。为正射影像制作一幅有人工视差的立体匹配片，就可以进行立体观测了。

斜平行投影法方法步骤
按 XY 平面上一定间隔的方形格网，将它正射投影到 DEM，获得 Xi、Yi、Zi 坐标。由共线方程求出对应像点在左片上的坐标 xi， yi，用此影像断面数据可制作正射影像；
XY 平面上同样方格网，沿斜平行投影方向将格网点平行投影到 DEM 表面。
将斜平行投影后的地表点坐标\(\bar{X}_i,\bar{Y}_i,\bar{Z}_i\)，按中心投影方程式变换到右方影像上去，得到一套影像断面数据\(\bar{x}_i,\bar{y}_i\)
立体正射影像对的高程量测精度
适合高程量测的立体正射影像对制作

立体正射影像对量测碎部高度存在问题。用对数投影法制作立体匹配片。

立体正射影像对的应用
便于定向和量测
量测用的设备简单
它来修测地形图上的地物和量测具有一定高度物体的高度等是十分有效
对在资源调查、土地利用面积估算、交通线路的初步规划

5 真正射影像的概念及制作原理¶

正射影像作为一个视觉影像地图产品，影像上由于投影差引起的遮蔽现象不仅影响了正射影像作为地图产品的基本功能发挥，而且还影响了影像的视觉解译能力。

遮蔽的概念
绝对遮蔽
相对遮蔽
正射影像上遮蔽的传统对策
影像获取时的策略

长焦距、提高摄影飞行高度、缩短摄影基线
纠正过程中的策略

尽量利用摄影像片中间部位制作正射影像
传感器选择的策略

使用线阵列扫描式传感器
真正射影像的概念及其制作原理
DEM 是地表面的高程，即它并没有顾及地面上目标物体的高度情况，微分纠正所得到的影像虽然叫做正射影像，地面上 3 维目标（如建筑物、树木、桥梁等）的顶部并没有被纠正到应有的平面位置（与底部重合），而是有投影差存在。
所谓真正射影像，简单一点讲就是在数字微分纠正过程中，要以数字表面模型（DSM）为基础来进行数字微分纠正。
- DSM 采集的困难
两种主要方法：半自动方式在摄影测量工作站上采集、用机载三维激光扫描仪或断面扫描仪直接扫描得到。实际地表覆盖的高低起伏很复杂，若以较大的采样间隔去采集 DSM，将直接影响所生成的真正射影像质量。DSM 采集的对象是否有必要包括地面上一切有一定高度的目标也值得考虑。
- 相对遮蔽信息补偿的困难
由于遮蔽的存在，地面局部被遮挡区域并未成像。这样的区域在纠正后会留下信息缺失区，必须设法在纠正后的影像上对遮蔽处所缺失的信息进行填充补偿。

6 正射影像的质量控制¶

正射影像几何精度检查
野外检测：检查正射影像的绝对精度；
与等高线图或线划地图套合后进行目视检查；
左和右影像制作两幅正射影像，量测影像上同名点的视差。

接边涉及几何精度问题，还涉及不同影像之间色调的不一致

正射影像的匀光处理
基于马斯克的单幅影像匀光原理
基于 Wallis 滤波器的多幅影像匀光原理
正射影像的匀光及镶嵌
几何纠正
色彩一致性处理
- 绝对辐射校正旨在利用大气校正模型、辐射定标系数以及其他一些相关的大气校正参数将影像由灰度值转变为地表反射率，消除成像时由太阳入射角、大气以及光照条件等带来的影响
- 相对辐射校正不同于绝对辐射校正，无需考虑影像的成像过程，因此不需要复杂的成像模型消除外界因素对成像带来的影响，它的目标是将待处理影像的辐射信息调整至参考影像相一致，使影像之间具有可比性
- 直接映射法
  
  通过指定参考色彩信息，将其他待处理影像的色彩信息直接调整至与参考影像相一致。
- 路径传播法
  
  参考色彩信息通过邻接影像的重叠区域进行传递，确定色彩校正处理的传播路径是该类方法的关键。
- 全局优化法
  
  在模型解算时并不是两两进行解算，而是将所有影像重叠区域的校正模型统一进行解算，取得全局统计意义上的最优解。
  - 基于最小二乘区域网平差全局优化方法
  - 假设影像的色调调整参数为比例参数 k 和平移参数 b
  - 解方程求出 k 和 b
  - 解得每幅影像的色调调整参数后,计算出每张影像的色调标准值，然后可利用 Wallis 滤波算子将每张影像的色调调整至标准值。
影像镶嵌

影像镶嵌技术的关键则是拼接线的选择过程，核心就是避开镶嵌边界横跨完整地物等情况
- twin snakes 算子选择正射影像的镶嵌线
- 最短路径搜索算法进行最优缝线搜索
- 利用蚁群算法进行正射影像镶嵌线自动选择的方法

7 景观图的制作原理¶

特大倾角“摄影” ，g 为像点（x，y）对应的灰度值，根据地形及虚拟光源模拟出来的值。

模拟灰度景观图
明暗效应的数字表示

角度可由平面法矢量确定
明暗度的均匀化

消除隐藏面的工作，对光滑表面通常用平面立体来近似，而明暗度的计算可以恢复它的光滑原形

地面大小的确定原则：每一地面元映射到景观图之后，各像元之间没有缝隙；地面元尽可能地大，以避免不必要的计算。
真实景观图
由 DEM 与原始影像制作景观图
- 将每一 DEM 格网划分为 m×n 个地面元，原则依然是使景观图上像素之间无缝隙并尽可能地大；
- 计算各地面元在景观图上的像素行列号；
- 进行消隐处理；
- 由地面元计算其对应的原始影像像素行列号
- 由双线性内插计算灰度;
- 将原始影像灰度赋予景观图像素\(g_l(I_l，J_l)=g_p(I_p,J_p)\)

第九章无人机摄影测量¶

1 无人机摄影测量概念及特点¶

无人机概述

是利用先进的无人驾驶飞行器技术、遥感传感器技术、遥测遥控技术、通信技术、GPS 定位技术和 POS 定位定姿技术实现获取目标区域综合信息的一种新兴解决方案。

无人机的用途
- 影像资料获取
- 突发事件调查
- 特殊任务处理
无人机航空摄影
- 无人机航空摄影系统指将相机安装在无人机上对目标进行拍摄的整个飞行摄影系统。通常由无人机、飞行控制系统、相机、相机控制系统组成。
倾斜摄影与贴近摄影
倾斜摄影
- 倾斜摄影是一种使用多镜头（通常用五镜头，一个垂直、四个倾斜）组合进行摄影，同时获取目标区域的下视影像和倾斜侧视影像的技术。倾斜摄影测量系统采用倾斜摄影，配合摄影测量处理新理论和技术，生产目标区域的三维模型。
- 特点：大倾斜角、变化的比例尺、遮挡严重、不同侧面成像。
- 应用角度
- 使用倾斜摄影恢复的城市模型与传统地图比，的确有真实直观很多，其表达信息易于让普通大众接受。
- 在效率方面，多镜头同时成像，大幅提高了数据获取效率。后续处理方面，得益于摄影测量新技术，具有高度自动化的处理方法，人工工作量非常少。
- 除人力资源优势为，采用无人机摄影成本也比传统大飞机的航空摄影低很多。
贴近摄影
- 贴近摄影测量（Nap-of-the-Object Photogrammetry）是利用旋翼无人机对非常规地面（如滑坡、大坝、高边坡等）或者人工物体表面（如建筑物立面、高大古建筑、地标建筑等）进行亚厘米甚至毫米级别分辨率影像的自动化高效采集，并通过高精度空中三角测量处理，以实现这些目标对象精细化重建的一种摄影测量方法。
- 贴近摄影测量具有以下特点：
- 目标导向飞行：摄影路线沿着被摄物体的表面，可避免统一飞行高度带来的影像分辨率变化的问题；
- 贴面拍摄：根据目标表面形状，调整无人机角度或相机拍摄角度，因此也要求数据获取平台具备较高的灵活性；
- 近距离摄影：可获取目标表面超高分辨率影像（亚厘米甚至毫米级别）；
- 从粗到细作业：先对目标进行常规或倾斜摄影，获取目标粗粒度三维信息，然后自动规划精细获取的航线和摄影角度，控制无人机进行精细影像获取。
无人机获取数据的特点
优势
- 安全性好：利用无人机航空摄影不需要工作人员在飞机上操作
- 成本低：无人机，制造，维修、保养简单便捷，造价远低于传统航拍大飞机。无人机驾驶员获取上岗执照门槛低，人力成本大幅下降。飞行不需要特定场地，更不需要停放机场。无人机比较轻小，燃料消耗少，飞行成本大幅下降。
- 机动灵活
- 分辨率高视角全
特点
- 灵活导致姿态稳定性差：无人机由于自身质量较小，惯性小，受气流影响大，俯仰角、侧滚角和旋偏角较传统航测来说变化快，而且幅度远超传统航测规范要求。
- 无法按传统航带处理，有时完全随意获取影像
受风向影像，导致俯仰角、侧滚角、航向角变化剧烈，航带的排列不齐。主要表现：
- 航带内有大旋转角、俯仰角、侧滚角。
- 重叠度（包括航向和旁向重叠度）的变化幅度大。
- 影像覆盖区域不规则
- 影像畸变大
相对传统航摄仪来说，无人机影像畸变大，边缘地方畸变可达 200 个像素以上。
- 影像像幅小，数目多
- 影像都有较准确的 GPS 信息
无人机摄影测量处理难点
影像差异大，影像匹配同名点困难
航带不规范，导致无法按常规建立区域网。
影像焦距、畸变等参数未知导致定向不稳定，甚至误差方程不收敛。
影像间关系复杂，导致核线模型多样。
影像重叠度大，需要考虑多视影像处理。

影像匹配困难由于无人机姿态不稳定，决定了相邻影像间很可能存在较大的旋转量、偏移量和缩放量，导致传统灰度匹配算法无法获得稳定结果，具体体现在以下四个方面：

相邻影像间存在大旋转角，用矩形相关窗口，按行列遍历无法寻找同名点；

影像间的重叠度变化大，无法预设匹配搜索范围；

航高、侧滚角和俯仰角的剧烈变化导致影像间比例尺差异大，灰度相关不可靠；

相对航高小，地物投影差大，相邻同名点视差无联系，匹配困难。

建立区域网困难

无人机影像无规则航带，影像关系复杂，区域网只能采用增长式建网。建网策略比传统航空摄影测量复杂，建网速度比传统航空摄影测量慢，形成的法方程系数矩阵不是带状稀疏矩阵，存储和求解需要使用更多内存，处理过程更加复杂。

平差方程巨大

无人机相机像幅小，相同地面范围影像数多，直接导致区域网未知数剧增，法方程变为巨型方程组，给平差带来巨大挑战。

平差收敛困难

无人机相机焦距、畸变等参数未知，加大了成像方程复杂度。此外影像匹配困难，导致错点比例增大。影像数量多，法方程未知数巨大。这些情况导致平差法方程不稳定，收敛速度慢，甚至不收敛。

立体观测困难

无人机影像重叠度大，相邻影像基线短，交会角小，影响测图的高程精度。如果仍然按传统用相邻影像构成立体像，高程精度很难得到保证。此外，影像间存在较大俯仰角、侧滚角、旋偏角以及较大航高差异，导致按传统方式采集的核线影像存在较大变形，影响立体观测。因此，需要研究更好的立体显示模式去适应无人机影像。

2 无人机影像的连接点提取¶

连接点提取概述

连接的意义：通过影像连接，让多张影像形成一个整体，减少野外控制点测量的工作，提高处理效率。

影像匹配：影像匹配的本质是利用计算机代替人工找点工作，通过计算机图像处理、图像识别的方式，自动寻找影像上的同名点，最终使影像相互连接。

传统处理：

先排航带（人工），必须左右摆放
相邻影像相对定向（人工或自动）
航带接转点

无人机数据处理

要找到有重叠的影像（相当于自动排航线关系）
自动匹配找同名点
影像快速检索算法

其实这是个图像聚类问题，又称为图像检索、图像查找等。

影像检索
- 选择影像的特征。这些特征可以是颜色特征、纹理特征、形状特征、空间关系特征或是它们的组合；
- 寻找一种方法比较两张影像特征的相似度；
- 设计一种高效的数据组织形式，快速的开展检索。
影像特征
- 颜色特征：颜色矩、颜色直方图
- 纹理特征：灰度共生矩阵、局部二值模
- 形状特征：傅里叶形状描述符
- 结构特征：SIFT 特征、SURF 特征、ORB 特征等
相似度度量：比较方法
- 欧氏距离
- 汉明距离
- 编辑距离：文献查重、输入自动纠正
- 直方图相交
- 马氏距离
检索策略
- 树形索引检索：KD-树
二分查找：二叉树
- 哈希函数检索
词汇树检索算法
- 视觉单词
视觉单词的提出是基于 bag of words 模型的。首先对于数据集的图像提取特征，如 sift 。sift 特征在图像描述方面是应用最为广泛的一种特征，由 David Lowe 在 1999 年提出，于 2004 年完善。sift 特征得到的结果是，对于图像上的每一个兴趣点都得到一个 128 维的描述向量（图上有多少兴趣点，兴趣点的分布都由算法本身决定）。然后通过 kmeans 聚类得到 k 个聚类中心，这些聚类中心就是我们所说的视觉单词，因为这些聚类中心代表了一类具有共同特点的特征。
- 词汇树检索算法关键步骤
- 分析数据，提取特征
- 建立 VT 树
- 对任意 n 张查看是否在树中的路径相似
词汇树的使用最核心的是特征向量就是遍历路径，这点非常重要，将影像转换为特征量。
感知哈希算法

对每张图片生成一个"指纹"（fingerprint）字符串，然后比较不同图片的指纹。结果越接近，就说明图片越相似。
- 缩小尺寸，只保留结构、明暗等基本信息。
- 简化色彩，如转为 64 级灰度。
- 计算平均值。
- 比较像素的灰度，生成指纹码（Census 变换）。
- 计算哈希值（Hamming Distance，汉明距）
连接点自动提取
影像邻接关系

无人机影像关系非常复杂，无法形成规则的航带关系。需要设计新的处理策略，解算影像间拓扑信息（也即影像间邻接关系）
影像匹配：灰度相关 NCC、特征匹配、语义匹配

SIFT 匹配基本原理：
- 特征提取：尺度不变，最基本原理是影像放大和缩小时候，特征都还在。
- 特征描述：旋转不变，最基本原理，360 度都比较，改进一点，旋转最明显的方向来描述。
- 特征匹配：比较 128 维向量，看谁最相近就可以。
ORB 特征匹配算法
- 特征点检测，FAST 特征检测算法
- 特征点描述，BRIEF 算法
- 特征点匹配，汉明距离
粗差剔除：剔粗差随机抽样一致 RANSAC

首先根据具体问题设计出某个目标函数，然后通过反复提取最小点集估计该函数中参数的初始值，利用这些初始值把所有的数据分为“内点”和“外点”，最后用所有的内点重新计算和估计函数的参数。

RANSAC 是典型的计算机算法,以时间为代价，穷举所有可能，取最好的一个结果，这与传统的平差理论完全不一致。传统拟合理论采用最小二乘解作为结果，然而在误差比较多的情况下，传统算法将无路可走。
连接点并行化
- 任务分解
- 子任务执行
- 结果合并

3 无人机影像的区域网¶

区域网(空三)概述

为测量目标提供定向控制点和像片定向参数

测定大范围内目标点的统一坐标

在大范围内同时进行点位测定，以节省野外测量工作量

成像几何
畸变模型
- 传统摄影测量：有畸变到无畸变，先对整张影像进行去畸变处理，得到无畸变的影像。
- 无人机摄影测量：无畸变到有畸变，获得任何像点位置坐标后不需要作任何处理直接带入处理方程。
- 传统摄影测量采用的方法是先对整张影像进行去畸变处理，得到无畸变的影像，然后开展摄影测量处理。也就是传统摄影测量定义的是有畸变到无畸变的模型，获得任何像点位置坐标后先用畸变模型算出无畸变的像点坐标（通常是毫米为单位），然后开展摄影测量处理。这个方法的优点是摄影测量处理过程不考虑畸变，算法简单高效，不足是必须先对相机进行严格的检校获取其畸变参数，相机使用过程中不引入新畸变。如果相机未经过严格检校，处理过程中需要复杂的迭代处理，开展自检校平差，非常容易进入迭代不收敛的陷阱中。
- 无人机开展摄影测量生产时，其搭载的相机通常不是专业相机，相机易受环境影响而发生变化，不适合采用传统摄影测量的畸变改正方法。为此，无人机摄影测量定义的是无畸变到有畸变的模型，获得任何像点位置坐标后不需要作任何处理直接带入处理方程即可。这个方法的优点是相机畸变将作为方程未知数参与所有解算，解算结果中带相机检校参数，不足是方程更加复杂，解方程过程中需要额外注意。
相对定向与核线约束

因为基础矩阵与本质矩阵是旋转矩阵，是正定的，但直接线性解仅仅是 9 个系数，不一定满足旋转矩阵条件，要想解出基础矩阵（或本质矩阵），需要 SVD 分解

空间点求相机参数
为让求解的旋转矩阵 R 满足正定条件，此时需要使用 QR 分解，才能得到[R|T]。
平差算法
平差本质

最大似然估计（MLE）问题
局部求导
- 最速下降法
- 牛顿法
- 信赖域
- 高斯-牛顿法
- 列文伯格-马夸尔特
- 共轭梯度
提醒：
- 以上算法都一样，只是收敛方式和速度不一样。
- 都是迭代解，都需要给初值。
- 与传统方法没有矛盾、传统方法是一种简便方法，初值合适求解更快。
无人机空三
GPS 辅助
SFM 运动恢复结构
- 增量式
- 全局式

第十章数字摄影测量系统¶

1 概述¶

数字摄测量工作站的自动化功能可分为
半自动（semi-automatic）模式，它是在人、机交互状态下进行工作；
自动（automated）模式，它需要作业员事先定义、输入各种参数，以确保其完成操作的质量；
智能（intelligent）模式，它可以完全独立于作业员的干预。大多数数字摄测量工作站具有自动模式功能，自动工作模式所需要的质量控制参数的输入，是取决于作业员的经验的。

2 数字摄影测量系统的组成与功能¶

数字摄影测量系统硬件组成

数字摄影测量系统的硬件由高性能计算机、立体影像显示设备、三维坐标输入（或称拾取）设备以及其他输入输出设备

数字摄影测量系统软件功能
影像处理
- 影像压缩
- 影像增强
- 影像缩放与裁剪
- 特征提取
- 内容识别
模型定向
- 内定向
- 相对定向
- 绝对定向
自动空中三角测量
制作数字地面模型
制作数字正射影像
生产数字线划图

3 经典数字摄影测量工作站¶

第一台数字摄影测量工作站 DAMC
摄影测量工作站 VirtuoZo
其他经典摄影测量工作站

4 当代数字摄影测量系统¶

传统摄影测量生产流程要求不完全适应于数字摄影测量。在数字摄影测量中工序的划分就不应该过分清晰，而应该更强调集成

传统的摄影测量生产规范不能全部适应于数字摄影测量

在主观智能方面，作业员总要比计算机强很多。因此在整个作业的过程中，DPW 是在作业员指挥下进行作业。例如打开某个测区或文件，进行某项操作，然后由计算机根据作业员的命令进行（自动化）工作。从这个意义上来说，整个 DPW 是一套交互系统。特别是在“识别”能力方面，“人”显得尤为聪明，例如地物（建筑物、道路、森林等）的识别、控制点的识别、粗差的识别等等，这些都还需要由人来完成。

对处理对象的“记忆能力”，计算机要比作业员强很多。就整体而言，“人”的记忆能力比计算机强得多，但是对于局部问题而言，情况就恰恰相反。

在“识别”同名点问题上，计算机要比作业员快很多。例如量测同名点的问题，在 DWP（或计算机立体视觉）中是一个“识别同名点”的问题，可以归化为影像匹配问题。

计算机不会因疲劳而引入错误。

对于 DPW 系统的运行方式有两种：①“人”＋“计算机”(交互)作业方式；②“计算机”(自动)作业方式。在目前的 DPW 中没有认真细致地考虑两者的区分，常常被混在一起，而不能充分发挥其效率。

数字摄影测量网格系统 DPGrid
像素工厂 Pixel Factory
其他热门摄影测量系统
无人机三维建模系统 ContextCapture
无人机摄影测量系统 Pix4DMapper
无人机摄影测量系统 PhotoScan

思考题¶

第九章¶

请比较矩阵形式成像模型与线元素、角元素描述的成像模型的差异？
请比较空间后交的直接解法与平差解法的差异？

往年试题¶

简答题¶

SIFT【※※】的原理，为什么有旋转不变性和尺度不变性
SIFT【※※】和Harris【※※】的优缺点，原理
利用影像谱分析原理说明由粗到精的影像匹配策略【※※※】的有哪些优点？
金字塔【※※※】影像的定义，好处，两种关于金字塔影像的匹配方法以及优缺点
金字塔【※※※】影像的原理，优势，基于金字塔影像的最小二乘匹配【※※※※※※※※※】流程框图和过程介绍
灰度匹配【※※※※※※※】和特征匹配【※※】的区别，基于实际算法进行比较
相关系数【※※※※※※※※】、最小二乘法【※※※※※※※※※】、跨接法【※※】的特点，你觉得哪个好并说明原因
“相关系数【※※※※※※※※】最大”影像匹配、基于物方的VLL 法【※※】影像匹配和最小二乘法影像匹配【※※※※※※※※※】的相同点及差别是什么？
简述铅垂线轨迹法（VLL）【※※】影像匹配方法的原理，并与相关系数法进行比较，说明两者的异同点。
请说明利用相关系数【※※※※※※※※】的影像匹配和最小二乘法影像匹配【※※※※※※※※※】的异同点？
请说明考虑辐射畸变的核线影像最小二乘匹配【※※※※※※※※※】的原理及过程
简述最小二乘影像匹配【※※※※※※※※※】的原理以及流程
简述一种框幅式航空影像制作其核线影像的【※※※※】方法。
什么是同名核线？简述一种确定同名核线【※※※】的方法。
两种TIN 追踪【※※※】等高线的方法
简述基于不规则三角网【※※※】绘制等高线的方法和过程
矩形格网等高线跟踪【※※※】过程，如果有特征线存在如何处理？
在某个连续光滑的区域内有 N 个分布不规则的数据点，请叙述如何利用多面函数高程模型内插【※※※※】的方法内插规则矩形网点的高程，请给出算法过程。
简述一次样条有限元数字高程模型内插【※※※※】方法的原理流程
简述一种数字高程模型的内插方法【※※※※】原理及特点
在某个连续光滑的区域内有 N 个分布不规则的数据点，请叙述如何利用有限元高程模型内插【※※※※】的方法内插规则矩形网点的高程，并说明如果有地形特征线如何处理。
TIN和Grid【※※※※】的建立过程，区别，以两个实际算法为代表进行介绍
请叙述一种构建不规则的三角网【※※※※】的方法。
DEM【※※※】的表示方法有哪些，写出生成 DEM 的方法
DEM【※※※】和 DSM 的原理，区别，建立方法，建立的关键技术
ADS40 DMC的影像制作正射影像【※※※※※※】的方法，有什么相同点和不同点
ASD80相机的正射影像制作【※※※※※※】方法，原理
一幅 SPOT 影像，当影像的外方位元素和 DEM 已知时，如何制作正射影像【※※※※※※】，请说明其原理过程，并指出与框幅式的航空影像制作正射影像算法的相同和不同之处
简述利用斜平行投影法制作立体正射影像对【※※※※※※】的原理。
线性阵列扫描影像在利用反解法制作正射影像【※※※※※※】时会存在什么问题？并指出目前解决这类问题的一种方法，简要说明其原理。
什么是真正射影像？制作真正射影像【@】需要解决那些关键问题？
简述利用单张航空影像进行修测【@】的原理。
简述真实景观图【※※】的制作原理。

综述题¶

四种特征提取算子【※※※】的优缺点，图出其中一种的流程图，生成核线影像【※※※※】的原理，画出特征点匹配的流程图，你的算法有什么改进。

	优点	缺点
Moravec	计算简单	只在 4 个方向上计算梯度，因此边缘对其影响很大
Harris	计算简单，只用到灰度的一阶差分特征点分布合理可以定量地提取特征点稳定	对尺度变化敏感阈值难以判断定位有偏差速度慢
Forstner	利用协方差矩阵和误差椭圆可以选出误差椭圆尽可能小而且接近于圆的点，即	计算复杂
Sift	具有尺度不变性、旋转不变性	对仿射变换不具有适应性

生成核线影像的原理：

基于几何纠正的方法：首先将倾斜像片纠正为水平像片，然后在水平影像上获取核线，水平影像上，同一行即表示一条核线
基于共面方程的方法：根据左侧摄站同某一确定点的连线、基线、左核线上任意一个其他点共面，得到左核线的方程，再通过左侧摄站同某一确定点的连线、基线、右测站到右影像该条核线的任一点共面，求出右核线方程，即建立核线对应关系
核线匹配【※※※※】和一般匹配的区别，你用的是哪种，为什么？你做的特征匹配方法，原理，流程框图（要非常详细，包括阈值是多少）
结合课间编程实习内容，请叙述两种特征点提取算法的流程和特点，结合具体数据说明选择不同的计算窗口和候选窗口对特征点数量以及质量的影响结果。并画出相应的程序框图。
结合课间编程实习内容，请叙述基于特征点采用相关系数【※※※※※※※※】进行同名点提取的算法流程，结合具体数据说明选择不同的计算窗口对寻找同名点数量和质量的影响，并分析原因。
结合课间编程实习内容，请叙述基于特征点采用相关系数【※※※※※※※※】进行同名点提取的方案和算法流程，结合具体数据说明采用最小二乘法影像匹配【※※※※※※※※※】能够提高影像匹配的精度，并说明原因。
什么是特征匹配【※※】？它与基于灰度的影像匹配【※※※※※※※※】有什么不同？结合课间编程实习内容，请说明实现自动相对定向的方法原理和关键技术。
试说明基于灰度差平方最小、单点最小二乘法【※※※※※※※※※】与多点最小二乘法影像匹配这三种算法的区别与联系
分析最小二乘法影像匹配【※※※※※※※※※】和跨接法【※※】影像匹配这两种方法的特点，并指出它们的区别与联系。
结合课间编程实习内容，请叙述基于特征点【@】的影像匹配方法原理，并画出相应的程序框图。
除了所学过的影像匹配方法之外，你还知道哪几种比较有效的匹配算法,请叙述其中一种方法的基本原理及特点？【@】
倾斜摄影测量【※※】的关键技术
数字摄影测量热点、倾斜摄影测量【※※】关键技术
真实景观图【※※】与模拟景观图的区别是什么？请说明制作真实景观图的原理以及在 VirtuoZo 作业流程。
线性阵列扫描影像在制作正射影像【※※※※※※】时会存在什么问题？并指出目前解决这类问题的一种方法，简要说明其原理