本文摘自论文《视频镜头分割方法综述》,列举并比较了几种像素域的镜头分割方法。
1 基于像素的镜头分割算法
基于像素的镜头分割主要是对视频帧的图像底层处理过程,包括亮度、灰度或者色彩值,其计算简单,原理是计算两帧之间的每个对应的像素的灰度(亮度)的变化。相邻两帧对应点的灰度(亮度)差为
式中,fn(i, j)、fn+1(i, j)分别代表第n 帧和第n+1 帧像素(i, j)的灰度(亮度),则相邻两帧之间的总帧差为
式中,M、N 为图像的尺寸。若总帧差大于某一设定阈值,则判断镜头内容发生变化。该方法原理简单、便于实现。缺点是对于摄像机及镜头内运动物体、光线条件的剧烈变化敏感,容易误检。
2 基于直方图的镜头分割算法
基于直方图的算法是最普遍的分割方法,它实现简单方便,而且对于大多数视频能得到较好的效果。基于直方图的算法是在基于像素的比较上发展来的,基于直方图的算法通常是将相邻帧之间的各个像素的灰度、亮度等分为N 个等级,再针对每个等级统计像素数做成直方图比较,给出两个图像的直方图,则直方图帧差计算公式如下所示:
其中,N 为图像帧像素的总数。hm(i)-hn(i)表示的是两个视频帧在i这个直方图单位上面的距离。基于直方图法不考虑像素的位置信息,而使用其亮度和色彩的统计值,缺点是对结构不同而直方图却很相近的两帧造成漏检而且对于光线变化比较剧烈的情况下,帧差值会受到很大的干扰。
3 基于X2直方图的镜头分割算法
X2 直方图[5]的算法因能放大最大帧差及算法比较稳定而得到广泛应用,为了使直方图帧差更好反映两帧间的差别,可把直方图帧差按下式归一化为:
式中,k 为图像帧像素的总数,hm(i)-hn(i)表示的是两个视频帧在i 这个直方图单位上面的距离。可见,X2 值越大,则两帧间差异越大; 反之则越小。直方图的归一化也叫直方图均衡化,是通过使用累积函数对灰度值进行“调整”以实现对比度的增强。直方图均衡化处理的“中心思想”是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸,重新分配图像像素值,使一定灰度范围内的像素数量大致相同。简单说就是把给定图像的直方图分布改变成“均匀”分布直方图分布。其缺点:①
变换后图像的灰度级减少,某些细节消失; ②某些图像,如直方图有高峰,经处理后对比度不自然的过分增强。算法对于摄像机及镜头内物体运动具有良好的容忍程度,但是实现复杂,计算复杂度高。
4 基于X2直方图分块的镜头分割算法
X2直方图分块法顾名思义是在X2基础上改进的,近几年对X2 直方图分块的研究比较少,为了减少运动、光照等引起的帧差值的变化,本文将各帧分块处理,比较每个块的直方图,将差值最大的块剔除,剩下的块比较帧差异值,其计算公式如下:
式中,k 为图像帧像素的总数,p 为块数,hm(i)-hn(i)表示的是两个视频帧在i这个直方图单位上面的距离。缺点是计算时间较X2 直方图时间长,计算复杂度高,优点对于运动的物体有良好的容忍程度。
5 基于边缘轮廓变化率的镜头分割
此方法的主要思想是通过计算边界的变化程度来确定镜头的边界。首先利用canny 算子将图像边缘化,然后计算出帧间的总体位移,以此进行配准,然后计算边缘的数量和位置。帧差由边缘变化的比例表示,即边缘从一帧到另一帧移进和移出的比例。但是由于该方法是先边缘化再进行配准最后才进行边缘比较,因此此方法对于运动时稳健的但计算比较复杂。设Qk为k
帧中与k+1 帧中最近边缘的距离大于给定阈值T 的边缘像素数目的百分比; 同样设Qk+1 为k+1 帧中与k 帧中最近边缘的距离大于给定阈值T的边缘像素数目的百分比,则帧差为:
6 实验结果与分析
首先,选择2个视频剪辑作为实验数据,它们的格式都是avi 格式。第一个视频时长18 秒,共有465帧; 另一个时长17 秒,共有448 帧,播放速度都是25帧/秒,每个视频都有三个人走动,本文就是将每个人走入镜头和走出镜头的镜头边界检测出来。本文比较了两个算法的运行速度和准确率,实验在Window XP 系统下利用 Matlab 运行五个算法,对上述的视频段进行镜头检测。五种算法的运行速度和准确率如表所示。
由表1 可知像素法、X2 直方图法和X2 直方图分块法准确率都比较高,其中X2 直方图分块法准确率最高但是时间比像素法和X2 直方图长。而直方图和边缘轮廓变化率法准确率相对较低,但是边缘轮廓变化率法时间比直方图法时间长4 倍多。由于光照变化影响,以上五种算法性能都没有很达到最优。如图2 展示了第一段视频的其中四种镜头检测的
结果比较:
由图 2 曲线图可知镜头内帧差异值变化不大,但是由于光照和快速运动也会发生很大变化,镜头和镜头的边界也发生了很大的变化,怎么样区分是否镜头边界这几种算法都没有得到很好地诠释。而且选取的阈值也不是唯一的,如直方图选择的阈值是0。025 渐变的阈值是0。013,X2 直方图法选择的是800 渐变的阈值是175,这些值都是根据经验得到的,没有一种通用的算法来计算阈值,这样得到的结果也不是最完美的。
分享到:
相关推荐
摄像机镜头非线性畸变校正方法综述,可以帮助了解现有的各种畸变矫正方法,来自谋篇杂质
镜头分割,也称镜头边界检测(SBD-Shot Boundary Detection)是一个活跃的研究领域,吸引了许多研究团体的注意力,对它的研究已超过十年,出现了大量算法,早期的工作主要针对突变镜头边界检测,最近的技术主要处理...
零镜头分割实验
基于内容的视频检索的镜头分割研究,任晓峰,吴巍,本文介绍了基于内容的视频检索的镜头分割的一些基本方法,并在研究了变步长镜头分割算法的基础上略加改进了改算法,使镜头边界检
针对传统的非压缩域镜头分割算法数据多、运算量大和效率低的缺点,提出了一种基于RS理论的压缩域镜头分割算法。该算法首先根据MPEG压缩标准,从视频流中提取DCT系数;然后经预处理得到每一帧的DC系数;最后依DC系数...
毕业设计,利用Matlab实现对突变和渐变两种镜头的检测,在镜头分割基础上进行关键帧的提取。在GUI中能观察分割提取的最终结果
压缩包中已经给定图片序列,可以直接运行程序,基于镜头分割提取出关键帧。
本代码是用opencv 2.0以上版本写的基于颜色直方图的视频镜头分割
镜头分割是基于内容的视频检索和浏览首先要解决的关键技术O 视频分割为镜头后1下一步的工作就是进行关键帧提取1用以描述镜头的主要内容O 提出了一种改进的基于聚类的镜头分割和关键帧提取算法1在无监督聚类中引入一...
一个用作视频镜头分割提取图片的工具,可以通过命令行进行使用。
基于机器学习的压缩域镜头分割技术.pdf
用于镜头检测,基于内容惊醒关键帧检测,在vs2013上开发 结合opencv 获取关键帧的位置,结合ffmpeg分割,简单易行,适合开发,实验,作业等等.。
光学镜头研究:持续创新精品报告2020.pdf
基于图像颜色直方图和梯度直方图的镜头分割算法,刘萌,刘贵忠,本文提出了一种基于帧间方差直方图的镜头分割的方法。该方法对颜色直方图进行了部分改进,将原图像分成较小的图像块,应用分块颜
基于直方图的镜头分割算法研究,王景宇,,视频数据经常需要将不同镜头进行分割,以方便进行后续处理。本文首先介绍进行镜头分割的几种常用方法,然后以直方图方法为基础,
基于内容的视频检索的镜头分割、关键帧提取技术
少量镜头语义分割论文 注意:如果您的论文不在清单中,请随意或给我。 2021年 标题 会场 PDF格式 代码 少量分割的自适应原型学习和分配 心肺复苏术 自我指导和交叉指导学习,用于少量分割 心肺复苏术 没有元学习的...
给出了几种镜头分割的代码,首先是将视频处理成一帧一帧的图片,然后是三种方法进行镜头分割,适合初学者。matlab