Digital Image Processing

像音符一样苏醒 / 整片天空做背景 / 背起行囊的这个剪影 / 旅程孤独而坚定

Digital Image Fundamentals

Structure of the Human Eye

晶状体中的蛋白质会吸收红外线和紫外线, 吸收过量会损害眼睛.

锥状细胞(cones)主要位于视网膜的中间, 对颜色高度敏感. 杆状细胞(rods)不涉及颜色视觉, 并且对低光照敏感.

Brightness Adaptation and Discrimination

人眼的光适应范围是 10^6, 但不能同时在整个范围下工作, 有不同的 adaptation level.

Weber ratio
眼睛在特定 adaptation level 下对光亮变化的辨别能力. 随着 illumination 加强, Weber ratio 变小, 对光的辨别能力加强.

背景亮度固定时, 人眼一般可以看到 12~24 种光强变化. 但是人在一幅黑白图片上漫游时, 背景也在变化, 所以人眼可以识别 >24 种灰度的黑白图片.

Two phenomena clearly demonstrate that perceived brightness is not a simple function of intensity:

Mach bands
在两个色带的交接, 感知到并不存在的缺口.
simultaneous contrast
A region’s perceived brightness does not depend simply on its intensity.
optical illusions
眼睛填补了不存在的信息, 或者错误的感知了对象的几何属性. 视错觉是尚未完全理解的人类视觉系统的特征.

Light and the Electromagnetic Spectrum

电磁频谱可以用波长, 频率, 或能量来表示.

波长 \(\lambda\) 和频率 v 的关系, 其中 c 是光速 \((2.998 * 10^8 m/s)\):

\[\lambda = \frac {c} {v}\]

电磁频谱的能量, 其中 h 是 Planck’s constant:

E = hv

频率用 Hertz(Hz) 来表示, 1Hz 等于每秒一个正弦波周期.

人眼看到的颜色由物体反射的光决定. 在所有可见波长反射光相对平衡的物体, 对观察者显示为白色.

Gamma 射线用于医学和天文成像, 以及核环境中的成像辐射. 超声波图像, 用于电子显微镜和图像合成的电子显微镜.

Image Sensing and Acquisition

Image Acquisition Using Sensor Arrays

Noise reduction is achieved by letting the sensor integrate the input light signal over minuters or even hours.

A Simple Image Formation Model

某一点的 intensity f(x,y) 由 (1) 照明源在景物上的入射量 i(x,y) 和 (2) 景物反射或 transmiss 的光照量 r(x,y) 决定:

f(x,y) = i(x,y)r(x,y)

Image Sampling and Quantization

Basic Concepts in Sampling and Quantization

采样指在 x,y 两个方向上选择采样的点. 量化指在某个点上做灰度的定量. 影像图片最终精度的是采样的精度, 和量化时灰度的级数. 图像内容会影响这些参数的选择.

Representing Digital Images

由于存储和量化硬件的考虑, 灰度级数通常是2的整数幂:

\[L = 2^k\]

有时, 灰度跨过的值的范围, 也被非正式地称为 dynamic range. Dynamic range 的上限由饱和度决定, 下限由噪音决定. 和 dynamic range 相关的一个概念是图像对比度 image contrast, 定义为图像最高和最低 intensity level 的差.

当一副图片有 \(2^k\) intensity levels 时, 通常被称为 k-bit image. 用来存储一副数据化图片需要的位数是:

b = M * N * k

当 M = N 时, 等式等价于:

\[b = N^2 * k\]

Spatial and Intensity Resolution

spatial resolution
The smallest discernible detail in an image, can be stated in line pairs per unit distance, and dots (pixels) per unit distance. 这个定义里重要的一点是, 空间分辨率的度量必须相对于空间单元来说明, 图片大小本身并没有讲述完整的信息.

在低分辨率打印时, 业界会使用一些 tricks 以获得更好的结果. 也可以通过选择使用的插值法获得更好的结果.

false contouring
The effect caused by the use os an insufficient number of intensity levels in smooth areas of a digital image. 叫假等高线, 因为看起来很像地图中的地形等高线. Image of size 256 * 256 pixels with 64 intensity levels and printed on a size format on the order of 5 * 5 cm are about the lowest spartial and intensity resolution images that can be expected to be reasonably free of objectionable sampling checkerboards and false contouring.
isopreference curves in the Nk-plane
等优曲线上的点, 对应于主观质量相等的图像. 当图片细节增多时, 等优曲线接近垂直, 也就是说只需要少量 intensity levels 就够了; 当 samples 数量增多, 但 intensity levels 减少时, 图像看起来更优, 因为这时图像对比度增加, 人类在视觉上通常会感知到图像质量提高.

Image Interpolation

interpolation
使用已知的数据, 估算未知位置的值的过程.
nearest neighbor interpolation
亮度取最近像素的值
bilinear interpolation
由最近四个点组成的多项式组成
bicubic interpolation
由最近16个点组成的多项式组成

Some Basic Relationships between Pixels

Neighbors of a Pixel

4-neighbors of p, \(N_{4}(p)\)
(x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1)
four diagonal neighbors of p, \(N_{D}(p)\)
(x + 1, y + 1), (x + 1, y - 1), (x - 1, y + 1), (x - 1, y - 1)
8-neighbors of p, \(N_{8}(p)\)
\(N_{4}(p)\)\(N_{D}(p)\)

Adjacency, Connectively, Regions, and Boundaries

intensity value 在同一指定集合中的相邻像素点是毗邻的. 根据毗邻情况分为三种:

  1. 4-adjacency
  2. 8-adjacency
  3. `m-adjacency`(mixed ajacency). 用来消除模棱两可. 两个值在 V 中的像素 p 和 q 是 m-ajacency 如果
    1. q 在 \(N_{4}(p)\) 中, 或者
    2. q 在 \(N_{D}(p)\) 中, 并且集合 \(N_{4}(p) \bigcap N_{D}(p)\) 没有值在 V 中的像素.

两个像素间的通路(a digital path/curve)是连接两个像素的一系列 distinct 的邻接坐标:

\[(x_{0}, y_{0}), (x_{1}, y_{1}), ..., (x_{n}, y_{n})\]

// TODO

be connected in S
两个像素 p 和 q 通过 S 中所有点连成一条 path.
a connected component of S
对 S 中的任意像素 p, 和它 connected 的像素集合.
a connected set
如果 S 中只有一个 connected component, 则称 S 是一个 connected set.
a region of the image
让 R 是图像的一个子集, 如果 R 是一个 connected set, 则称 R 是图像的一个 region.
ajacent
如果两个 region 的并集组成一个 connected set, 则称两个 region 是 ajacent 的. 不 ajacent 的 regions 称为是 disjoint.

We consider 4- and 8-ajacency when referring to regions. For our definition to make sense, the type of ajacent must be specified.

foreground, \(R_{u}\)
union of all disjoined regions.
background, :math::(R_{u})^c
foreground 的补集.
the boundary/border/contour of a region
和 region 的补集邻接的点, 通常指 8-connectivity. 约定 region 是图片的子集. 如果一个点既在 region 的边界上, 又在 image 的边界上, 则认为这个点是 region 边界的一部分.

border-following 算法通常跟随外边界, 为了得到一条 closed path.

edge
像素的导数到了一个预定值. 衡量在某点上像素连续性的局部概念.

Distance Measures

对像素 p, q, z, 对应坐标 (x,y), (s,t), (v,w), D 是一个 distance function or metric if

  1. D(p, q) >= 0 (D(p, q) = 0 if p = a), and
  2. D(p, q) = D(1, p), and
  3. D(p, z) <= D(p, q) + D(q, z).

Euclidean distance 欧几里得距离

\[D_{e}(p, q) = [(x - s)^2 + (y - t)^2] ^ \frac {1} {2}\]

\(D_{4}\) distance (called the city-block distance)

\[D_{4}(p, q) = |x - s| + |y - t|\]

\(D_{8}\) distance (called the chessboard distance)

\[D_{8}(p, q) = max(|x - s|, |y - t|)\]

An Introduction to the Mathematical Tools Used in Digital Image Processing

线性操作有大量可应用于图像处理的理论和实践结果. 非线性操作由于不容易理解, 应用范围很受限. 但是有些非线性图像处理操作的效率远大于对应的线性版本.