数字图像处理知识总结

幕布链接：here

部分内容在数字媒体技术基础已经总结

2 数字图像表示及处理

人眼成像过程

  • 组成

    • 角膜 1/6

    • 虹膜 5/6

    • 脉络膜

    • 瞳孔

      • 虹膜中间

      • 光圈

    • 视网膜

      • 光敏细胞

  • 过程

    • 图img

    • 例子img

  • 人眼机理 照相机

    • 瞳孔 <=> 光圈

    • 晶状体 <=> 透镜

    • 视细胞

      • 锥状细胞

        • 强光检测亮度、颜色

        • 6,000,000～7,000,000

        • 对颜色敏感

        • 分辨率高

      • 杆状细胞

        • 弱光检测亮度，无色彩感觉

        • 75,000,000～150,000,000

        • 分辨率低

    • 成像过程

      • 视细胞 受光刺激 产生 电脉冲 -> 视神经中枢->大脑成像

      • 物体 反射/透射 光谱一部分 吸收其余部分 呈现颜色

      • 消色光/单色光

        • 无颜色的光

        • 灰度

  • 色彩感知

    • 度量

      • 亮度

        • 明亮

      • 色调

        • 颜色种类

      • 饱和度

        • 深浅

      • 色度

        • 色调和饱和度

    • 三基色

      • r g b

      • 混色

        • 红绿=黄

        • 红蓝=品红

        • 绿蓝=青

        • 红绿蓝=白

  • 例题

    • 图img

电磁波成像

  • 电磁波谱按波长递减

    • gama射线、x射线、紫外线（工业检测、显微镜）、可见光、红外线（车牌识别）、微波（雷达）、无线电波（医学MRI）

  • 其他成像

    • 声波、超声波（B超）、计算机合成图像

  • 例题

    • 图img

简单图像形成模型

  • 图像记录 物体 辐射能量 空间分布

    • 分布 为 空间坐标、波长、时间的函数

    • I=(x,y,z,lamda,t)

      • lamda:波长

  • 平面单色静止图像

    • f(x,y)=i(x,y)* r(x,y)

      • i 入射分量

      • r 反射分量

图像获取

  • 采集部件

    • 光敏器件

    • 扫描系统

    • 模/数转换

  • 输入设备

    • CCD光电器件

      • 摄像机

      • 数字相机

      • 平板扫描仪

  • 输出设备

    • 滚筒扫描仪

  • 例题

    • 打印机不属于采集设备

图像数字化

步骤

  • 扫描

    • 按顺序对图像遍历

  • 采样

    • 用光电传感器对像素位置上的像素取值

  • 量化

    • 对采样值模数转换

设备

  • 采样孔

    • 单独观测特定图像像素 不受图像其他部分影响

  • 图像扫描机构

    • 让 采样孔 按照 预先规定的方式在图像移动 ，按顺序观测每一个像素

  • 光传感器

    • 通过采样孔测量图像 每像素亮度
      • 通常 为 光强 转换为 电压或电流变换器

  • 量化器

    • 将传感器输出的连续量 转化为 整数值

  • 输出存储体

    • 把量化器产生的灰度值按某格式存储

性能

  • 空间分辨率 采样决定

    • 单位尺寸采样像素数

    • 采样孔径与间距大小和可变范围决定

  • 灰度分辨率 量化决定

    • 量化等级（位深度） 颜色深度

  • 图像大小

    • 扫描最大幅度

  • 量测特征

    • 测量的精度

  • 扫描速度

    • 采样数据传输速度

  • 噪声 量化噪声/误差

    • 数字化器噪声水平

  • 其他

    • 价格

采样 量化依据

  • 二维采样定理 Nyquist准则

采样点 量化级数 数字媒体技术期末复习总结

  • 越高越好

像素关系

  • 4邻域

  • 图img

  • 4对角邻域

  • 图img

  • 8邻域

  • 图img

  • 邻接性

    • V：灰度值集合

      • 如二值图像 V={1}

    • 如果q在N(p)中，具有V中数值两数为邻接

    • 4邻接

    • 8邻接

    • m邻接/混合邻接

  • 连通性

  • 从p到q有特定像素序列

  • 区域

  • 连通区

  • 边界 边缘

    • 边界

      • 闭合通路

      • 整体

    • 边缘

      • 某些导数值（超过预先设定阈值）像素形成

      • 局部

        • 灰度级测量不连续

  • 放大/收缩图像

    • 放大

      • 创立新像素位置

      • 赋予像素值

    • 缩小

      • 删除行列

距离度量 数字媒体技术期末复习总结

图像格式

  • bmp

  • tiff

  • gif

  • pcx

  • jpeg

    • joint photographer’s experts group

灰度直方图 数字媒体技术期末复习总结

  • 例题

    • 图img

3 vc++ 图像处理

bmp

特点

  • 格式：与硬件设备无关

  • 难压缩，占用空间大

  • 深度:1bits,4bits,8bits,24bits

扫描方式

  • 从左到右，从下到上

图像 框架

  • 如图img
文件头

  • bfType：位图文件类型 0x424D 字符串“BM”

  • bfSize：位图文件大小 包括这14个Byte

  • bfReserved1，bfReserved2:Windows保留字

  • bfOffBits：文件头到实际位图数据偏移字节数

信息头

  • biSize：本结构长度 40Bytes

  • biWidth：位图宽度 pixel

  • biHeight：位图高度 pixel

  • biPlanes：目标设备级别 1

  • biBitCount：每像素所占位数bit

  • biCompression：位图压缩类型

    • 例如BI_RGB

  • biSizeImage：实际位图数据占用字节数

  • biXPelsPerMeter:目标设备水平分辨率 像素/米

  • biYPelsPerMeter：目标设备垂直分辨率 像素/米

  • biClrUsed：位图实际用到的颜色数

    • 若为0，则颜色数=2^biBitCount
      - 例如rgb图像

  • biClrImportant：位图显示过程重要颜色数

    • 若为0则全重要
颜色表/调色板

  • 颜色表是RGBQUAD数组

    • 图img
位图数据

  • 记录每一个像素值R G B （存储顺序为B G R）

  • 若有颜色表，则位图数据为调色板索引值

  • 注意

    • （Windows）扫描行 所占字节数 为 4 的倍数 ，不足的要扩充

      • DataSizePerLine=int[(biWidth*biBitCount/8+3)/4]*4

      • 不压缩位图数据大小

      • biSizeImage=DataSizePerLine*biHeight

        • 扫描顺序：下到上，左到右，图像坐标零点在左下角

    • 例题img

4 图像变换与运算

傅立叶变换

一维傅立叶变换

二维傅立叶变换

  • 性质

    • 分离性

    • 平移性

    • 周期性和共轭对称性

    • 旋转性

    • 分配律

      • 乘法不满足

    • 尺度变换

    • 平均值

      • 原点值和函数平均值成正比

    • 卷积

    • 相关

快速傅立叶变换 fft

傅立叶逆变换

可分离变换

  • g(x,y,u,v)=g1(x,u)g2(y,v)

  • 傅立叶变换是可分离变换的特例

图像运算

点运算（见第五章）
局域运算（见第五章）
代数运算

  • 加减乘除

  • 用途

    • 加

      • 均值降噪
        • 多幅图像求均值

    • 减

      • 减去背景

      • 运动检测

      • 梯度幅度

几何运算
概念
  • 改变空间关系
空间变换

  • 像素位置移动

  • 变换后保证 曲线连续性 物体连通性

  • g(x,y)=f[a(x,y),b(x,y) ]

    • a，b唯一描述 空间变换
灰度级插值

  • 输入坐标值为整数 运算输出可能不为整数

  • g(x,y)=f[a(x,y),b(x,y) ]

    • f(x,y) 一个像素 往往 被映射到g(x,y)几个位置

  • 向前映射 移交映射 pixel carry over

    • 输入 img 像素 -> 输出，若一个像素 映射到 四个 输出像素间 则 插值

    • 映射输出图像外 浪费

  • 向后映射 像素填充 pixel filling

    • 输出 img 像素 ->输入，若一个像素 映射到 四个 输入像素间 则插值

    • 逐像素、逐行生成 输出 img

  • 插值

    • 最近邻（零阶）

      • 输出灰度值等于离他映射最近灰度

    • 双线性

    • 高阶

变换

  • 平移

  • 图img

  • 缩放

  • 图img

  • 旋转

    • 图img

5 图像增强

概述

  • 突出 图像 有用信息 削弱 无用信息

    • 目的

      • 便于 后续 人工/机器 观察 分析

    • 图像信息 有损

    • 预处理

    空域增强

    • 二维空间 对 图像像素 灰度值 处理

    • 灰度变换

      • 像素 灰度值 -数学公式 -> 新灰度值

        • 点运算

      • 对比度增强 直方图均衡

    • 空间滤波

      • 邻域处理 局域运算

      • 模版 对 像素 周围邻域像素 -数学运算-> 新灰度值

      • 图像平滑 锐化

  • 频域增强

    • 对 图像 傅立叶变换

    • 空间域 -> 频率域

    • 对频谱 操作

    • 反变换回 空间域

  • 按对象区分

    • 灰度图增强

    • 彩色图增强

空域增强

灰度变换增强

  • 点运算

  • 对比度增强

  • 线性灰度变换

    • g(x,y)=a*f(x,y)+b

      • a=1,b=0 不变

      • a=1,b!=0 上/下移 亮/暗

      • a>1 对比度增强

      • 0<a<1 对比度减小

      • a<0 亮区暗 暗区亮 求补

      • 图

        • 如图img

  • 分段线性变换

    • 局部拉伸

    • 不同范围灰度值进行不同拉伸处理

    • 图

      • 如图img

  • 非线性变换

    • 在整个灰度范围内 利用非线性变换函数 对灰度范围 扩展/压缩

    • 对数扩展

      • g(x,y)=C*ln[f(x,y)+1]
        • 如图img

    • 指数扩展

      • g(x,y)=(a^c*[f(x,y)-b])-1

      • b可改变曲线起始位置

      • c可改变曲线变化速率

      • 可对高亮度区进行大幅扩展

    • 伽马变换

      • g(x,y)=(f(x,y)+esp)^r

        • f,g 范围 [0,1]

        • esp 补偿系数

        • r 伽马系数

          • 可选择性 增强 低灰度区域对比度 或 高灰度区对比度img

    • 其他

      • 求反

      • 动态范围压缩

      • 阶梯量化

      • 阈值切分

  • 课堂练习（提问）

    • 不在范围内的灰度值怎么办？

    • 解img

直方图增强

  • p(r)=n(r)

    • n(r) 灰度为r 像素数

    • p(r)=n(r)/N

      • N:总像素数

  • 直方图均衡化 数字媒体技术期末复习总结

    • 搜索均衡化

    • ⚠️注意 图像处理专业课的均衡化需要看以下举例

    • 举例

      • 如图imgimgimg

    • 简化公式

      • 图img

平滑 空间滤波

  • 邻域平均 线性

    • 均值滤波（局部平滑）

      • 去除不相干细节

      • 图img

    • 高斯滤波 加权平均

      • 图img

  • 中值滤波 非线性

    • 步骤

      • 确定奇数像素窗口W

      • 窗口内 像素 按灰度值从小到大排序

      • 中间像素代替灰度值

    • 去除孤立像素

      • 即 相对邻近像素过亮/暗

    • 除了中值代替，也可以最大值最小值

  • 平滑->减噪

    • 负面效应 边缘模糊

  • 举例

    • 图imgimg

锐化

  • 增强反差 边缘信息 便于轮廓提取

    • 边缘 轮廓 是变化最大处

  • 微分

    • 增强边缘

    • 削弱变化缓慢区

    • 边缘检测

  • 差分代替微分

    • 公式

      • 图img

    • 举例

      • 图img

      • 分析

        • 整个斜坡 一阶微分不为0 二阶微分 非0值只在斜坡起始处 终点处

          • 一阶微分 较粗边缘

          • 二阶微分 较细边缘

        • 噪点处 二阶比一阶反应强烈

          • 细节增强 ，二阶优于一阶

          • 二阶有过渡（正回到负） ，双线 现象

      • 结论

        • 一阶 产生宽边缘

        • 二阶 细节 反应强

        • 一阶 灰度阶梯 反应强

        • 二阶 双响应

  • 一阶微分 梯度算子

    • roberts

      • 图img

    • sobel

      • 图img

      • sx对水平边缘 响应大

      • sy 垂直

  • 二阶微分 拉普拉斯算子

    • 图img

  • 注意

    • 锐化计算后得到梯度值G[f(x,y)]

    • 可设定阈值 T

      • g(x,y)=G[f(x,y)],G[f(x,y)]>=T

      • g(x,y)=f(x,y) ,G[f(x,y)]<T

    • 频域增强

      • 步骤

        • 原图 f(x,y) 傅立叶变换 F(u,v)

        • F(u,v)*H(u,v) 传递函数 -> G(u,v)

        • G(u,v) 傅立叶逆变换 g(x,y)

      • 空间域->变换域

        • 低频分量 图像灰度值变化缓慢

        • 高频 边缘 随机噪声

      • 低通滤波

        • 保留低频 过滤高频

        • 种类

          • 理想低通滤波ILPF

          • 巴特沃斯

          • 指数

          • 梯形

      • 高通滤波

        • 理想

          • 振铃明显 图像边缘模糊

        • 巴特沃斯

          • 效果好 振铃不明显 计算复杂

        • 指数

          • 稍逊于巴特沃斯

        • 梯形

          • 微有振铃 计算简单 常用

      • 带阻滤波

        • 允许 阻止 特定频段通过 传递函数

      • 同态滤波

        • 压缩图像范围 增强对比度

        • 分离 照明分量 反射分量

彩色图像增强

  • 增强技术

    • 真彩色

    • 假彩色

    • 伪彩色

  • 彩色模型 数字媒体技术期末复习总结

    • rgb

    • hsi

    • cmy

  • 伪彩色增强

    • 灰度->彩色

  • 假彩色增强

    • 彩色->彩色

    • rgb 映射 rgb

  • 真彩色增强

    • 图img

7 二值图像 形态学

二值图

阈值选择

  • 直方图

    • 对象图形与背景灰度值差很大 ，直方图形成谷

    • 干扰多图像不适应

像素连接

  • 连接成分

    • 图img

  • 孔

    • 图img

  • 单连接成分、多重连接成分

    • 图img

  • 图像连接数例题

    • 图img

  • 可删除性

    • 改变一个像素值，整个图像连通性不变

    • 可删除像素和连接数等于1的像素一致

形态学

基本思想

  • 一定 形态结构元素 度量提取 图像 以便 图像分析

  • 集合论

  • 保持图像基本结构 除去不想干结构

腐蚀

  • 步骤

    • 结构元素与覆盖图像

    • 如果结果均为1，则为1，否则为0

  • 消除边界点/小点

膨胀

  • 步骤

    • 结构元素与覆盖图像

    • 如果结果均为0，则为0，否则为1

  • 填补空洞

开

  • 腐蚀 膨胀

  • 消除小物体

  • 平滑对象轮廓

闭

  • 膨胀 腐蚀

  • 填补空洞

  • 平滑边界

例题

  • 图img

8 图像压缩

例题

  • 图imgimgimgimgimg