K8凯发(中国)天生赢家·一触即发

一种局域网屏幕直播延迟优化方法与流程
栏目:k8凯发集团 发布时间:2026-06-22
 本发明涉及音视频采集、编码、推流、传输以及解码领域,具体涉及一种一种屏幕直播系统延迟优化方法。  直播互动教育是对现代化教育平台的有效使用,可以更有效实现对优质教育资源共享和传播,但直播互动教育的研究普遍存在直播卡顿严重、直播延迟较高的问题。由于网络和移动设备的硬件性能等问题,直播过程中出现卡顿是一件概率很高的事情。卡顿使得教师播放教学视频时出现不流畅的情况,播放ppt演示时出现画面不连续的现

  本发明涉及音视频采集、编码、推流、传输以及解码领域,具体涉及一种一种屏幕直播系统延迟优化方法。

  直播互动教育是对现代化教育平台的有效使用,可以更有效实现对优质教育资源共享和传播,但直播互动教育的研究普遍存在直播卡顿严重、直播延迟较高的问题。由于网络和移动设备的硬件性能等问题,直播过程中出现卡顿是一件概率很高的事情。卡顿使得教师播放教学视频时出现不流畅的情况,播放ppt演示时出现画面不连续的现象,严重影响了正常的教学活动。直播延迟也是影响课堂直播效果的一个很重要的因素,对于远程直播教学来说,画面延迟即使比较高,只要观看者的画面是流畅的也不影响体验。但对于局域网环境下的直播教学来说,教师作为主播和学生在一个教室中,太高的画面延迟使得直播这种教学方式变得画蛇添足,严重影响校园公开课多教室教学的直播效果。

  基于hls(httplivestreaming)协议的直播在高并发场景下,理论延迟在10s~30s之间,无法实现低延迟的局域网屏幕直播;局域网udp(userdatagramprotocol)组播技术只适用于在电脑与电脑之间依靠有线连接进行屏幕共享,不适用于电脑与多个移动设备之间的屏幕共享,且udp协议是不可靠的协议,无法保证画面质量。

  有学校曾引入开放免费的互联网直播平台来进行直播互动教育,但一些不良的信息也会通过开放的互联网,以各种途径传入课堂,造成对学校正常教学秩序的干扰,而且这类直播平台对学校局域网内多教室多设备同步互动直播教学的支持不够。而基于学校局域网的直播,过程中普遍存在直播延迟高、流畅性差等问题,在一定程度上使教学效果大打折扣。因此,低延迟直播是局域网视频直播中一个颇具挑战性的技术难点。

  针对上述问题,本发明通过分析直播的各个环节,从网络推流、首帧打开时间、视频编码三个角度进行了直播延迟优化。一是依据网络状况自适应调整直播推流码率,优化推流策略;二是设计实现关键帧缓存算法,降低首帧加载延迟;三是对x264算法帧内预测部分进行改进,降低编码延迟。最终实现了一个低延迟的屏幕直播系统,增强了直播的实时性体验。

  实现本发明方法的主要步骤如下:首先,推流端定时对网络上行平均带宽和平均往返时延进行监测评价,建立三种网络质量模型;推流端依据不同的网络状况自适应调整推流码率,该过程遵循“快降慢升”原则,保证不同网络环境下直播流播放的流畅性;其次,服务器对关键帧进行缓存,播放端启动播放时首先从服务器内存中获取关键帧加载播放,避免了触发播放器的超时重连机制,加快首帧的打开速度,使得首帧打开时间减少到2-4秒;最后,改进了帧内预测模式快速选择算法,通过降低候选模式个数减少编码复杂度,在视频质量基本不变的前提下使编码时间最多可降低约22%。

  步骤一,网络质量评价,具体为:定时对上行推流网络做监测,获取网络上行平均带宽和平均往返时延,并以二者作为网络状况的判断依据,定义三种网络质量模型对网络状况进行描述,分别为网络良好、网络优秀、网络较差;

  步骤二,网络自适应推流,具体为:以步骤一中的网络状况为基础,每隔一段时间对网络状况进行检测评价,当网络优秀时,缓慢提升采集帧率和分辨率;当网络良好时,保持原状,不改变帧率和分辨率;当网络较差时,大幅降低采集帧率和视频分辨率,自适应过程遵循“快降慢升”的原则;

  步骤三,关键帧缓存,具体为:定时从流媒体服务器拉流得到视频流,并推流到本地,生成flv格式的视频文件;首先检测该视频流的数据类型,判断其是否为视频类型,若数据类型为视频类型,则检测其是否为关键帧,否则,继续拉流;若该视频流标记为关键帧,则对视频数据的长度进行计算,以此长度作为获取关键帧数据的长度,进而将此关键帧更新缓存到服务器;在完成缓存操作后,播放端在进行直播播放时首先请求服务器中缓存的关键帧数据进行解码渲染播放;

  步骤四,降低帧内编码候选模式个数,具体为:对于4x4亮度块,基于图像的4个纹理方向计算纹理系数,将纹理系数值经过计算得到每种预测模式的纹理方向值,对纹理方向值进行排序,选取纹理方向值最小的2种模式加入候选模式;同时选取垂直模式、水平模式、dc模式三种常用预测模式也加入候选模式,最终得到3到5种候选模式。

  依据网络状况自适应调整推流码率,保证不同网络环境下直播流播放的流畅性;对关键帧进行缓存,使播放端在进行直播播放时首先请求服务器中缓存的关键帧数据进行解码渲染播放,避免触发播放器的超时重连机制,优化首帧打开时间,使得首帧打开时间减少到4秒以内;通过降低帧内预测候选模式个数,减少编码复杂度,在视频质量基本不变的前提下使编码时间最多可降低约22%。

  图10为优化前后三种测试序列(ppt、news、highway)的主观效果对比图;

  使用网络模拟工具clumsy调整网络状况,每隔10min对上行推流网络做监测,计算网络上行平均带宽和平均往返时延,两项指标共同作为网络状况的判断依据,建立三种网络质量模型。按照如下步骤进行网络质量评价:

  a、获取网络接口列表:调用函数库中的jpcapcaptor.getdevicelist()方法获取本机网络接口列表;

  b、打开网络接口:使用jpcapcaptor.opendevice()方法对网络接口进行监听,设置每次最大捕获数据包大小为65535byte、开启混杂模式接收所有类型的数据包、捕获数据包超时时间设置为50ms;

  d、实时计算上行网络平均带宽:统计60秒内所捕获的源ip地址为视频采集端的数据包大小,计算每秒钟捕获的数据包大小即为网络上行平均带宽;

  g、建立网络质量模型:利用上行网络平均带宽和平均往返时延两个指标建立了如表1所示的三种网络质量模型。对于“网络优秀”和“网络良好”两种网络质量,两个指标是“且”的关系;对于“网络较差”,两个指标是“或”的关系。当网络上行平均带宽=0.8mb/s且平均往返时延=5ms时,为网络优秀;当网络上行平均带宽在0.4mb/s~0.8mb/s之间且平均往返时延在5ms~10ms时,为网络良好;当网络上行平均带宽=0.4mb/s或平均往返时延20ms时,为网络较差,此情况下平均往返时延的优先级更高。

  首先定义6种推流方案,主要包括帧率和分辨率大小,按推流质量由差到好的顺序从1开始编号,如表2所示为6种推流方案所对应的帧率和分辨率。“快降慢升”的含义即当网络状况较差时,若当前推流方案大于2时,将当前推流方案减2,大幅度降低帧率和分辨率,减小对网络带宽的压力,否则按推流方案1进行推流;比如当推流端按照推流时检测到网络较差,大幅度降低帧率和分辨率,调整为按照方式推流,减小对网络带宽的压力;当网络状况优秀时,若当前推流方案小于最高推流方案序号时,本实施例中为6,则推流方案加1,若当前推流方案已为最高序号,则保持不变;比如当推流端按照推流时检测到网络优秀,缓慢增加帧率和分辨率,按照方式推流;当网络良好时,保持原状,不改变帧率和分辨率。

  本发明将网络推流方式改进为网络自适应推流之后,在网络波动较大的情况下,根据网络带宽条件调整码流,使得视频播放保持整体流畅。视频码率越高,视频质量越好,对网络带宽的消耗就会越大。因此当弱网络带宽不足的情况发生时,如果不对分辨率、码率等参数进行调整,将会造成推流上行网络的负载加大,进而造成直播延迟。

  直播是实时视频流,用户以一个随机的时间点接入视频流进行播放,接入时第一帧帧类型若不是关键帧,此时播放缓冲区为空,解码器无法解码只能丢帧。播放器需要等到下一个关键帧到来时才能播放,等待时间若大于5秒,会触发播放器sdk超时重连机制,不断刷新重连直到有一次5s之内加载成功,这极大影响用户观看直播的体验。因此按照如下步骤对关键帧进行缓存:

  a、推流端开启双路推流,即两个并发执行的线程,一路视频流推送到流媒体服务器,一路视频流定时推送小段视频到本地,视频格式均为flv;

  c、遍历每一个flvtag,获取flvtagheader并根据第一个字节判断是否为视频类型,0x12为script类型,0x08为音频类型,0x09为视频类型,若不是视频类型则遍历下一个flvtag,若是则进入步骤d;

  d、获取tagdata的第一个字节前4位,若为0001则为关键帧,然后获取tagheader的第二到第四个字节,计算视频数据的长度length,从tagdata第二个字节开始获取长度为length的关键帧数据,然后进入步骤e;若不是关键帧则回到步骤c遍历下一个flvtag;

  e、查看缓存队列是否有关键帧,若没有则缓存当前关键帧,若有则先移除旧关键帧,缓存新关键帧;

  由于校园网白天和晚上的网络流量是不同的,为了检验算法在不同网络条件下的效果,测试了校园网白天(10:00~17:00)和晚上(19:30~23:00)两个时间段的三种视频分辨率(1920*1080、1280*720、800*600)下的首屏打开时间,每种视频分辨率下,共进行200次点击播放操作,记录每一次从点击播放到首屏画面加载出来的时间。视频分辨率1920*1080的实验结果如图5所示,视频分辨率1280*720的实验结果如图6所示,视频分辨率800*600的实验结果如图7所示。

  对实验结果进行分析,当视频分辨率为1920×1080时,如图5所示,白天和晚上,优化前首屏打开时间均在15~25秒左右,优化后首屏打开平均时间,白天为3133ms,晚上为3010ms;视频分辨率为1280×720时,如图6所示,优化前首屏打开时间在10~25秒左右,优化后首屏打开平均时间,白天为3241ms,晚上为3150ms;当视频分辨率为800×600时,如图7所示,白天或晚上均在10s以上,优化后白天平均首屏打开时间为2864ms,晚上为2915ms。首屏打开时间明显降低,提高了接入直播画面的速度。通过测试说明了利用关键帧缓存算法对首帧打开时间进行优化的必要性,该算法保证了首帧正好是关键帧,避免了首帧类型不确定所导致的首屏长时间等待。

  本发明加入关键帧缓存之后,播放端在进行直播播放时首先请求服务器中缓存的关键帧数据进行解码渲染播放,同时服务器也在不断的更新关键帧数据,这使得首帧打开的时间降低到4秒以内。

  对于4x4亮度块,基于图像的4个纹理方向计算纹理系数,并进一步计算得到每种预测模式的纹理方向值,对纹理方向值进行排序,选取纹理方向值最小的2种模式加入候选模式;同时加入垂直模式、水平模式、dc模式三种常用预测模式到候选模式,最终得到3到5种候选模式。按照如下步骤确定帧内编码候选模式:

  b、将4x4亮度块平均分成4个2x2的子块,它们的像素按照行优先的顺序分别表示为s1、s2、s3、s4,每个像素值由其包含的4个像素求均值得到;

  c、依据子块像素值估计4x4亮度块的图像纹理,按如下方法计算四个方向的纹理系数angle0、angle45、angle90、angle135:

  e、对纹理方向值进行快速排序,选取纹理方向值最小的2种模式作为候选模式;另外,在实际编码中使用频率最高的是垂直模式、水平模式、dc模式,所以将这三种模式也作为候选模式,考虑到纹理方向值最小的两种模式可能已包含垂直模式或者水平模式,所以最终的候选模式最少3种,最多5种;

  f、对3~5种候选模式进行rdo计算,选取最小的rdo值对应的模式为最优的预测模式。

  在屏幕直播系统中录制500帧yuv(4:2:0)格式的ppt教学视频,视频特点是视频变化较为平缓,局部纹理细节丰富,能代表屏幕直播系统中大部分应用场景的视频特点。此外,选择与该视频特点相似的两个官方测试序列news和highway进行测试。对三种视频序列的编码时间变化率(△time)、编码帧率变化率(△fps)、图像客观质量变化(△psnr)进行比较。最终3种序列的测试结果如表4所示。

  从实验结果可以看出,改进后的x264算法压缩屏幕直播系统中的ppt视频序列,编码时间下降了8.26%,编码帧率提高了8.79%;对于官方测试序列,news序列编码时间下降3.74%,编码帧率提高4.16%;highway序列编码时间下降了21.94%,编码帧率提高了27.9%。3种序列视频质量基本没有损失。改进后的x264编码算法应用到屏幕直播系统中,有效的降低了编码时间,提高了编码的效率。

  运行屏幕直播系统,使用13台平板电脑(内存2gb)进行播放,统计系统在800×600、1024×768、1280×720、1920×1080四种分辨率下的直播延迟情况。网络路由器为华为企业级路由器ar111-s,ap为华为无线。推流端和服务器为笔记本电脑,cpu配置信息为intel(r)core(tm)i5-3230m,双核2.6ghz,内存为8gb。每隔100帧视频统计一下直播延迟,一共测试50次共计5000帧,将直播延迟数据实时写入sd卡的文本文件中,最终的实验结果如图9所示。

  对图9中的实验结果进行分析,当推流分辨率为800×600、1024×768、1280×720时,系统延迟稳定在1s~3s之间,与优化前5s~10s的延迟相比,经过优化后的屏幕直播系统在1280×720甚至更低分辨率下延迟较低,能够满足实际教学中课堂屏幕共享需求。

  对ppt、news、highway三种视频测试序列使用改进前后算法进行编码,如图10所示,第一行图像为改进前算法编码后的图像,第二行图像为改进后算法编码后的图像,从图中对比效果可以看出,图像质量损失不大,不影响实际课堂屏幕共享教学中学生的观看效果。可见本发明的优化方案在降低编码时间的同时几乎不影响图像质量,满足课堂屏幕共享教学的需求。

  针对视频直播中因HLS协议导致的高延迟问题,提出通过将直播数据流切分为多个片段并提取各片段起始帧数据,实现按需输出的解决方案。该方法通过确定每个片段的起始帧,减少播放器等待时间,从而显著降低整...

  针对高清直播中网络差导致的延迟或画质下降问题,提出通过将多帧静态图片分解为常量图(背景)和变量图(动态内容),并提取其位置与尺寸比例关系特征,仅传输常量图与变量图增量信息,从而大幅减少数据传输...

  针对传统直播平台存在的延迟高、画质差及无回放功能问题,提出基于HLS协议的优化方案:通过调整OBS推流参数(如分辨率、比特率)和Flowplayer播放器配置(如ratio、clip属性),实...

  1.数字信号处理 2.传感器技术及应用 3.机电一体化产品开发 4.机械工程测试技术 5.逆向工程技术研究

  1.振动信号时频分析理论与测试系统设计 2.汽车检测系统设计 3.汽车电子控制系统设计