本书基于作者20余年的AR理论和应用的研究,从技术和HCI的角度介绍AR。 本书内容涵盖AR的理论知识和相关案例，主要内容包括显示和跟踪技术、标定与注册技术、视觉一致性、交互、建模、开发、AR软件架构，既有AR发展历史的详细介绍，又有对AR技术脉络的梳理与展示，适合作为高校增强现实相关课程的教材，以及增强现实研究者、技术人员的参考书。
在过去的20年里，信息技术的应用从固定的办公室和桌面计算转移到网络、社交媒体和移动计算。近年来，即使将笔记本电脑归入桌面式电脑的类别，智能手机和平板电脑的销量也远超传统桌面式电脑。
虽然目前主流用户界面还没有完全从20世纪90年代的桌面计算（或者说是1981 Xerox Star）中脱离出来，但是当今年轻一代获取计算机知识的方式已经改变：各种应用和云计算在许多情况下取代了电脑桌面。计算已经从一项在办公室或书房中开展的工作转变为随时随地进行的活动。
初识增强现实
随着用户逐渐远离电脑桌面，将真实世界融入我们的计算体验变得越来越重要。考虑到真实世界既不是平面的，也不是由书写文档组成的，因此必须有一个新的用户界面隐喻。增强现实（Augmented Reality，AR）有潜力成为用于情境计算的主流用户界面隐喻。增强现实具有能将真实世界和与之相关的虚拟信息直接关联的独特性质。整个世界变成了用户界面，这引出了那句熟悉的宣言：
回到真实世界！
虚拟现实（Virtual Reality，VR）的愿景是将我们自身沉浸于人造世界，这推动了游戏设备的发展，带来了令人惊艳的画面效果，随之而来的是各类头戴式显示器和手势跟踪器的出现。但即便如此，像虚拟现实这样通过定义来独占大众注意力的用户界面隐喻，也不一定是日常计算的最佳选择。
相反，我们越来越依赖可以随意使用并能提供容易理解的少量信息的计算界面。我们需要普适计算。这可以通过“宁静”的计算过程实现，这一过程会在后台进行，不需要用户干涉，甚至根本不会引起用户的注意。在需要普适交互时，增强现实脱颖而出，成为合适的用户界面技术。
为何写作本书
多个相互交叉的研究领域聚焦于增强现实的发展，相关的知识体系也在快速完善。自20世纪90年代以来，我们一直以研究者的身份致力于该知识体系的相关工作。本书的主要动力来自我们所任教的格拉茨理工大学和加州大学圣巴巴拉分校关于增强现实的课堂教学。在备课过程中，我们明显感到目前没有一本教材能够覆盖这个快速发展领域的广度和深度。从2001年的SIGGRAPH会议开始，各种学术会议及研讨会的部分演讲稿都为备课提供了参考，我们也参与组织了其中的一些会议。许多基础理论从那时起逐渐构建起来，我们着眼于系统地汇集相关知识，同时注重新兴概念与实践信息。因此，这本书诞生了。
本书主要内容
如书名所示，本书在原理和实践之间力求平衡。我们的目标是让这本书既能服务于科学研究人员，又能服务于对增强现实应用感兴趣的从业者，特别是工程师。因此，本书既可用作教材，又可用作参考读物。为了充分利用本书，读者需要对计算机科学有基本认识，如果能够了解计算机图形学以及计算机视觉领域的相关知识，或者对其感兴趣，会对理解本书有所帮助。考虑到篇幅的限制，我们无法进一步提供必要背景技术的特定细节，而是给出了参考文献。与此同时，本书谨慎地介绍并清楚地解释了超出基础知识的特定增强现实概念，从而使本书自成体系。本书采用下面的篇章顺序来介绍增强现实的技术和基本方法。
第1章为本书奠定基调，介绍增强现实的定义，简略讲述该领域的历史，之后带领读者领略这项强大的真实世界用户界面技术的多种应用实例。小结部分介绍了一系列相关技术和研究领域的全景。
第2章的主题是显示技术，这是增强现实的关键基础技术之一。根据视觉感知的基础理论，讨论了各种适用于增强现实的显示技术，尤其是头戴式显示、手持式显示和投影式显示。我们还讨论了非视觉显示技术，如听觉和触觉设备等。
第3章的主题是跟踪技术，这是增强现实的潜在核心技术之一。首先讨论了理解跟踪（广义的定义是测量系统）的工作原理所需要掌握的特定知识，然后讨论了传统的固定跟踪系统，并将其与移动传感器进行比较。接下来，着重介绍了主流的光学跟踪技术，并在最后简述了传感器融合的原理。
第4章继续上一章中对光学跟踪问题的讨论，详细介绍了用于实时位姿估计的计算机视觉算法，例如根据观测图像确定摄像机的位置与朝向。为了便于讲解并使读者更广泛地了解背景知识，这一章由一系列案例研究组成。每一个案例研究仅介绍自身必需的相关知识，所以读者不需要事先深入了解计算机视觉方面的知识。此外，本书对涉及高等数学的问题做了标记，这些问题在实践中通常依赖OpenCV等软件库来解决，因此可以被视为“黑箱”，不想深入研究的读者可略过这部分内容。
第5章讨论用于增强现实的器件标定和注册方法。在增强现实应用中，第3章所述的用于光学跟踪的数字摄像机标定技术是实现可重复精确操作的必要前提。注册是几何上校准增强现实体验中的真实世界和虚拟世界的过程，从而有利于形成一致混合环境的错觉。
第6章聚焦于使真实和虚拟物体无缝融合的一系列计算机图形技术，包括虚拟和真实物体之间正确的遮挡或阴影关系。我们也解释了消隐现实，即消隐场景中的真实物体，并讨论了物理摄像机的仿真。
第7章关注可视化技术，目的是使信息更容易理解。在增强现实环境中，这意味着几何注册到真实场景物体上的计算机生成信息，必须按照便于用户理解的方式摆放和设计。我们同时探讨了二维增强（如文本标签）和
迪特尔·施马尔斯蒂格（Dieter Schmalstieg） 奥地利格拉茨理工大学教授，计算机图形学和视觉中心主任。他是IEEE高级会员、奥地利科学院会员以及欧洲科学院会员，目前已发表论文300余篇，并担任《IEEE可视化和计算机图形学会刊》等核心期刊或论文集的编辑。2002年获得奥地利科学基金会START Career奖，2012年获得IEEE虚拟现实技术成就奖。
托比亚斯·霍勒尔（Tobias Hllerer） 加州大学圣芭芭拉分校计算机科学系教授，Four Eyes实验室主任。曾获得美国NSF授予的CAREER奖，并于2013年获得ACM杰出科学家称号。他曾担任IEEE VR 2015、ICAT 2013等重要国际会议的程序委员会主席，并多次荣获*佳论文奖。
出版者的话
前言
致谢
第1章 增强现实介绍1
1.1 定义和范围1
1.2 增强现实简史2
1.3 示例8
1.3.1 工业和建筑业8
1.3.2 维修和培训10
1.3.3 医疗11
1.3.4 个人信息显示12
1.3.5 导航13
1.3.6 电视14
1.3.7 广告和商务15
1.3.8 游戏17
1.4 相关领域17
1.4.1 混合现实连续体18
1.4.2 虚拟现实18
1.4.3 普适计算18
1.5 小结20
第2章 显示21
2.1 多模态呈现21
2.1.1 听觉呈现21
2.1.2 触力觉呈现22
2.1.3 嗅觉和味觉呈现23
2.2 视觉感知24
2.3 需求与特点25
2.3.1 增强方法25
2.3.2 单视和体视27
2.3.3 调焦28
2.3.4 遮挡30
2.3.5 分辨率和刷新率31
2.3.6 视场32
2.3.7 视点偏移33
2.3.8 亮度和对比度35
2.3.9 扭曲和畸变36
2.3.10 延迟36
2.3.11 人因工程学36
2.3.12 社会接受度36
2.4 空间显示模型37
2.5 视觉显示38
2.5.1 近眼显示器39
2.5.2 手持式显示器46
2.5.3 固定式显示器47
2.5.4 投影式显示器52
2.6 小结56
第3章 跟踪57
3.1 跟踪、标定和注册57
3.2 坐标系58
3.2.1 模型变换59
3.2.2 视图变换59
3.2.3 投影变换59
3.2.4 参考帧59
3.3 跟踪技术的特点60
3.3.1 物理现象60
3.3.2 测量原理60
3.3.3 测量的几何属性61
3.3.4 传感器布置61
3.3.5 信号源61
3.3.6 自由度62
3.3.7 测量坐标62
3.3.8 空间传感器布置62
3.3.9 工作区范围63
3.3.10 测量误差63
3.3.11 时间特性64
3.4 固定跟踪系统64
3.4.1 机械跟踪64
3.4.2 电磁跟踪65
3.4.3 超声波跟踪66
3.5 移动传感器66
3.5.1 全球定位系统67
3.5.2 无线网络68
3.5.3 磁力仪68
3.5.4 陀螺仪69
3.5.5 线性加速度计69
3.5.6 里程表70
3.6 光学跟踪70
3.6.1 基于模型跟踪与无模型跟踪71
3.6.2 照明71
3.6.3 标志点与自然特征73
3.6.4 目标识别77
3.7 传感器融合79
3.7.1 互补传感器融合79
3.7.2 竞争传感器融合79
3.7.3 协作传感器融合80
3.8 小结81
第4章 增强现实中的计算机视觉82
4.1 标志点跟踪83
4.1.1 摄像机表示84
4.1.2 标志点检测85
4.1.3 单应位姿估计87
4.1.4 位姿优化90
4.2 多摄像机红外跟踪90
4.2.1 斑块检测91
4.2.2 建立点对应关系91
4.2.3 双摄像机的三角测量92
4.2.4 两台以上摄像机的三角测量93
4.2.5 包含球体标志物的目标匹配93
4.2.6 绝对朝向94
4.3 自然特征检测跟踪94
4.3.1 兴趣点检测95
4.3.2 创建描述符98
4.3.3 匹配描述符99
4.3.4 n点透视位姿99
4.3.5 鲁棒的位姿估计100
4.4 增量跟踪101
4.4.1 主动搜索102
4.4.2 Kanade-Lucas-Tomasi跟踪102
4.4.3 零归一化交叉相关103
4.4.4 分层搜索104
4.4.5 联合检测与跟踪105
4.5 同时定位与地图构建106
4.5.1 本质矩阵的五点算法107
4.5.2 集束调整108
4.5.3 并行跟踪与地图构建108
4.5.4 重定位与闭环109
4.5.5 稠密地图构建110
4.6 户外跟踪112
4.6.1 可扩展的视觉匹配113
4.6.2 传感器先验信息114
4.6.3 几何先验信息115
4.6.4 同时跟踪、地图构建及定位116
4.7 小结120
第5章 标定与注册121
5.1 摄像机标定121
5.1.1 摄像机内参121
5.1.2 校正镜头畸变122
5.2 显示器标定123
5.2.1 单点主动对准法125
5.2.2 使用指向装置的头戴式显示器标定126
5.2.3 手–眼标定127
5.3 注册129
5.3.1 几何测量失真129
5.3.2 误差传播129
5.3.3 延迟130
5.3.4 滤波和预测130
5.4 小结131
第6章 视觉一致性132
6.1 注册132
6.2 遮挡134
6.2.1 遮挡细化135
6.2.2 概率遮挡136
6.2.3 无模型遮挡136
6.3 光度注册138
6.3.1 基于图像的光照139
6.3.2 光探针140
6.3.3 离线光照采集142
6.3.4 基于静止图像的光度注册142
6.3.5 基于镜面反射的光度注册142
6.3.6 基于漫反射的光度注册143
6.3.7 基于阴影的光度注册 144
6.3.8 室外光度注册 145
6.3.9 重建精确光源145
6.4 通用光照145
6.4.1 差分渲染146
6.4.2 实时全局光照147
6.4.3 阴影148
6.4.4 漫射全局光照 150
6.4.5 镜面全局光照152
6.5 消隐现实153
6.5.1 感兴趣区域的确定153
6.5.2 隐藏区域的观察与建模154
6.5.3 感兴趣区域的移除154
6.5.4 基于投影的消隐现实155
6.6 摄像机仿真155
6.6.1 镜头畸变156
6.6.2 模糊157
6.6.3 噪声157
6.6.4 渐晕158
6.6.5 色差158
6.6.6 拜耳模式伪影 158
6.6.7 色调映射伪影158
6.7 风格化增强现实159
6.8 小结159
第7章 情境可视化161
7.1 挑战162
7.1.1 数据过载162
7.1.2 用户交互163
7.1.3 注册误差163
7.1.4 视觉干扰163
7.1.5 时间一致性164
7.2 可视化注册165
7.2.1 本地注册情境可视化165
7.2.2 全局注册情境可视化165
7.2.3 注册不确定性166
7.3 注释和标记166
7.3.1 标记基础166
7.3.2 优化技术167
7.3.3 时间一致性168
7.3.4 图像导引放置170
7.3.5 易读性170
7.4 X射线可视化171
7.4.1
书单推荐
