Skip to main content

第四章-数字视频技术

一、视频的概念​

1.1 什么是视频​

视频（Video）就是其内容随时间变化的一组动态图像，所以又叫运动图像或活动图像。

🔔 视觉暂留原理

每秒超过24帧连续变化的图像人眼无法分别，所以形成视频。某个物体消失之后，依旧可以在视网膜上停留0.1-0.4s。

1.2 模拟视频​

普通广播电视是一种模拟视频信号。电视摄像机通过电子扫描将时间、空间函数所描述的景物进行光电转换后，得到单一的时间函数的电信号，其电平的高低对应于景物亮度的大小，即用一个电信号来表征景物。 由于光是连续的，投影后的图像在空间上是连续的，也即原始视频在空 间上是连续的。

🌳 扫描方式

分为隔行扫描和逐行扫描：
image.png
视频在获取或显示时，每秒钟按逐行扫描处理的图像数称为帧率（FPS），每秒钟按隔行扫描处理的图像数称为场率，例如每秒25帧或50场(60场/s)。

一幅图像的像素按行排列可以分为偶数行和奇数行
如果偶数行和奇数行的像素是在相同时间点采样得到的，则称该帧为逐行帧
如果偶数行和奇数行的像素是在不同的时间点采样得到的，则称该帧为隔行帧
隔行帧中所有偶数行构成该图像的顶场，所有奇数行构成该图像的底场
由逐行帧构成的视频序列称为逐行视频，由隔行帧构成的视频序列称为隔行视频
在隔行视频与逐行视频具有相同数据量的情况下，采用隔行采样的方法能够增加时间采样率，使时域上的运动更加平滑，从而增强视频的数据质量

模拟视频的制式 制式 | 水平扫描 | 隔行扫描 | 常见国家 :--: | :--: | :--: | :--: NTSC (National Television Standards Committee) | 水平扫描525行、帧率30帧/秒 | 隔行扫描、60场/s | 北美、日本、中国台湾地区、加勒比和南美部分区域
PAL (Phase Alternating Line) | 水平扫描625行、帧率25帧/秒 | 隔行扫描、50场/s | 中国、英国、德国、澳大利亚、亚洲国家、非洲和南美
SECAM (Sequential Color Memory) | 水平扫描625行、帧率25帧/秒 | 隔行扫描、50场/s | 东欧和法国

1.3 数字视频​

🔔 数字视频的起源和定义

1990年，美国通用仪器公司研制出高清晰度电视HDTV（High Definition Television），提出信源的视频信号及伴音信号用数字 压缩编码，传输信道采用数字通信的调制和纠错技术，从此出现了信源和传输通道全数字化的真正数字电视DTV（Digital Television）
数字视频（Digital Video，DV）

是指用二进制数字表示的视频信号。
数字视频既可直接来源于数字摄像机(例如CCD摄像机等)，也可将模拟 视频信号经过数字化处理变成数字视频信号。
模拟视频信号经过采样、量化和编码数字化处理后，就变成由—帧帧数 字图像组成的图像序列，即数字视频信号。

*单位时间内采集到的视频图像的帧数称为帧率*，常用的单位为“帧/秒”（fps）。 帧率的倒数就是时间采样的间隔或两帧间的时间间隔。视频=空域（图像）+时域

二、数字视频的获取与编辑​

2.1 数字视频采集工具​

🌳 数字视频采集工具

image.png
视频采集卡：输入模拟信号，输出数字流视频信号。
image.png
摄像机：由镜头、CCD器件、数字信号处理（DSP）芯片、存储器和LCD显示器件组成。

2.2 数字视频质量评估​

主观质量评估：由人进行质量评估。
客观质量评估：有三种度量方式，分别是FR(Full Reference)、 RR (Reduced Reference)和NR(No Reference)三种度量方式。

峰值信噪比（Peak signal noise ratio, PSNR）
结构相似度(Structure similarity Index, SSIM)
多尺度结构相似度(Multi Scale Structural Similarity Index, MS-SSIM)

均方误差越小，峰值信噪比越大，视频的失真就越小

🔔 峰值信噪比（Peak signal noise ratio, PSNR）

计算最大信号功率与均方 差（MSE）之间的对数
image.png
均方误差
image.png

三、运动估计​

3.1 光流​

光流是由对象或相机的移动引起的两个连续帧之间的图像对象的明显运动模式。 是由场景中前景目标移动或相机的运动，单独或者共同产生的。简单来说，所谓光流就是瞬时速率，在时间间隔很小（比如视频的连续前后两帧之间）时，也等同于目标点的位移。 image.png

🌳 光流的计算

光流计算依赖于三个假设：
亮度恒定：场景中目标图像的像素看起来在帧到帧移动是不发生改变。对于灰度图像（对于彩色图像同适用）这意味着像素的灰度值不会随着帧的跟踪改变。
时间持续性（微小移动）：图像上相机的移动随时间变化缓慢。实际上，这意味着时间的变化不会引起像素位置的剧烈变化，这样像素的灰度值才能对位置求对应的偏导数。
空间一致性：场景中相同表面的相邻点具有相似的运动，并且其投影到图像平面上的距离也比较近。 假设第一帧图像中的像素 I(x, y, t) 在时间 dt 后移动到第二帧图像的 (x+dx, y+dy) 处。

根据上述第一条假设：灰度值不变，我们可以得到
image.png
image.png
按照理论基础与数学方法的区别把它们分成四种：基于梯度（微分）的方法、基于匹 配的方法、基于能量（频率）的方法、基于相位的方法和神经动力学方法。 其中基于梯度的方法又称为微分法，利用时变图像灰度的时空微分（时空梯度函数） 来计算像素的速度矢量典型的代表是Lucas-Kanade法，L-K光流法。
L_K补充资料

3.2 帧差法​

摄像机采集的视频序列具有连续性的特点。如果场景内没有运动目标，则连续帧的变化很微弱，如果存在运动目标，则连续的帧和帧之间会有明显地变化。
由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧或三帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。
image.png
image.png

实例：
image.png

3.3 光流场​

空间中的运动场转移到图像上就表示为光流场（optical flow field）；光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。
image.png

3.4 块匹配​

基于一些距离准侧，在（过去和/或未来）参考帧中搜索与当前帧中固定大小块最匹配的相同尺寸块的位置。 块匹配是通过穷举搜索所有候选位移矢量而完成的。
image.png

四、视频编码标准​

文件格式详情
AVI格式AVI文件格式是Video For Windows所使用的文件格式，其扩展名为AVI。
MOV格式MOV文件格式是QuickTime For Windows所使用的视频文件格式。
MPG格式MPG文件是最新的数字视频标准文件，也称为系统文件或隔行数据流，是采用MPEG 方法进行压缩的全运动视频图像。
DAT格式DAT文件是VCD专用的视频文件格式，也是基于MPEG压缩/解压缩技术的视频文件格式。