华为:悦盒“家家聊”高清视频通信技术
日前,华为宣称在跨省、全新互联网架构的TV高清视频通信方面取得重大技术突破,并将在“五一”节前搭载“天翼视讯悦盒”(后续简称“悦盒”)正式向市场推出“家家聊”业务。市场上有不少公司也号称他们的智能机顶盒能支持高清视频通话,那华为“家家聊”到底有什么不同,有哪些地方能算得上是重大技术突破?哪些关键因素支撑跨省电视高清视频聊天体验呢?
下面,我们从视频编码、音频编码及网络自适应等关键技术,进行深入剖析和一探究竟。
视频编码技术“家家聊”采用了业界主流的H.264/AVC视频编码标准和技术规范,同时依托华为智能机顶盒专有的片内SoC(System on Chip)的模块(VENC),完成多项核心视频编码技术的深度优化和定制,实现1080P与720P及以下分辨率的实时高清视频编码。
那为什么“家家聊”暂时只提720P的高清视频呢?主要考虑的是两个方面:
1)业界通用USB摄像头一般采用的都是USB2.0接口,其输入输出带宽只能支持到720P
2)720P至少要求1M以上带宽,这基本是国内电信运营商的上行带宽的上限值了“家家聊”高清版的视频编码技术具备以下独特优势:
精确的目标码率控制目标码率是客户根据自身的需求给编码器设置的一个编码码率。VENC控制目标码率与实际输出码率浮动不超过10%。鉴于目标码率的高低对图像质量有一定的影响,因此不同分辨率编码存在一定的合理码率选择范围。所谓“合理的范围”指的是,如果低于这个范围,图像质量看起来会变得不可接受;如果高于这个范围,则显得没有必要,对于网络资源以及存储资源来说是一种浪费。VENC可以根据实际编码的分辨率、实时的网络情况、实际应用场景配置相应的目标码率,以达到最优的编码效果。
适用不同场景、灵活可控的编码模式
【绑定模式】
VENC支持的一种编码模式。设置该工作模式,需要在打开编码器之前给编码器绑定源。目前支持的源有虚拟屏幕,虚拟窗口和VI。设置绑定模式后,客户不能再自行给VENC送帧编码。
【快速编码模式】
VENC支持的一种编码模式。一般应用于可视通讯等对实时性要求较高的场景。该模式下,VENC处理会根据用户配置的输入输出帧率做帧率控制外,为了保证画面的实时性,避免延时的累积,VENC只会编码最新插入的一帧,缓冲区的其他帧会被扔掉,从而保证总是编码缓冲区最新的画面。
【分SLICE编码】
分SLICE编码是H264协议规范支持的一种编码模式。该模式下编码器会把一帧画面编码成多个SLICE,各个SLICE在编码时相互间保持独立。在网络传输环境较差的情况下,采用分SLICE编码可以限制误码的扩散,保证传输质量。
l可控的输入与输出帧率帧率(Frame rate)是用于测量显示帧数的量度,以每秒显示帧数(Frames per Second,简称:FPS)为单位。VENC具备输入帧率和输出帧率两个参数可供配置,如果两个参数配置成不同帧率,VENC会自动进行帧率控制。特别需要注意的是:当处于绑定模式下,用户配置的输入帧率失效,VENC以内部实际的输入帧率为基准进行帧率控制,而在非绑定模式下,客户需要保证输入帧率的准确可信。
基于以上深度优化的编码算法,VENC应用与不同场景的合理目标码率参考范围如表1所示:
表1 码率配置参考表(帧率:30fps)
音频编码技术篇
互联网传送高保真语音数据面临的核心挑战来自于三个方面:
1、网络的时延、丢包、抖动、带宽变化,如何保证稳定的通话时延及质量
2、低复杂度、低损伤、低带宽占用诉求下的高清语音编解码及增强技术
3、多平台兼容性,提供无差别通话体验针对这些互联网语音通信的关键问题,“家家聊”采用华为2012实验室提供的HME(Huawei Media Engine)核心模块;其完整的高音质,低带宽HD-VOICE音频编码技术,为用户带来身临其境的高保真语音通信服务。“家家聊”的音频编码技术具备以下独特优势:
采用业界最优的VOIP语音编解码器
OPUSOPUS编码器频谱可根据网络宽带自适应,同时在相同带宽下提供的音质好,延时小,而特有的FEC功能具有强大的抗丢包能力;考虑到通话环境,设备差异等因素,互联网语音通信极容易产生噪声,回声,音量太小或太大,削波等问题,严重影响用户通话体验;而HME模块凭借华为在无线通信领域10多年的积累,提供业界领先的ANR/ALC/AEC/ACLP算法,其回声抵消指标业界领先,让你随时随地畅打无忧。不同音频编码算法的音质测试对比请参考图2:
图2:编码算法的音质对比测试
动态抖动缓存技术(AJB+TSM)HME TSM技术在调整语音缓存深度时,通过时域伸缩技术,只改变语速,而不改变语音的音质、基音等其它特性;通过时域拉伸压缩技术(TSM)实现对缓存深度的平滑动态调整,在AB主观测试中,86%的测试用户反馈语音质量明显提升。
HME AJB技术实时跟踪网络抖动,动态调整缓存深度,保障最佳语音质量及通话时延,无线网络典型场景平均时延降低150ms以上。
图3语音编码技术对比
网络自适应技术篇
相对于TDM(时分复用)网络,IP分组网络的丢包与时延更恶劣。当网络质量劣化,若不能自动调节音视频编码的码率,将会导致高丢包与时延变大,严重影响端到端通信的主观体验。华为“家家聊”的HME引擎采用专用的NetATE网络自适应技术,可根据网络状态(丢包率、丢包分布、时延),快速改变编码速率、打包时长、冗余深度适应网络状态,保证语音与视频通信的质量。NetATE具备如下特点:
a)可适配多种变速率编解码
b)网络模型分析(带宽竞争与带宽受限)
c)用户可控带宽上下限
d)快速调整响应
综合测试表明,即使网络丢包达到10%的情况下,华为媒体引擎(HME)的NetATE网络自适应、ARS自适应码率选择、SEC等超强纠错技术也能够保障,音、视频通话清晰流畅。
小结与市面上现有的视频通信软件,诸如Skype和QQ HD等相比,“家家聊”在相同码率下的视音频编码主观质量有明显优势,更能轻松实现720P及1080P分辨率的高清视频编码;更为重要的是,“家家聊”高清版针对国内家庭宽带网速进行智能适配,达到视频质量和流畅度的均衡及综合体验最佳;结合“悦盒”的全遥控器操作方式、以易用性为核心的UI/UX设计,必将TV大屏上的、全面领先的视音频通信体验带入千家万户。
随着HME视频编码技术向HEVC/H.265平滑演进以及国内运营商光纤网络提速步伐的加快,不久的将来,“家家聊”高清版将为中国的家庭用户带来全高清1080P,甚至是革命性的4K超高清视频通信体验。
- 01-092023年的四大网络风险以及如何应对
- 01-09操作系统/虚拟化安全知识域:攻击者模型
- 01-09操作系统/虚拟化安全知识域:操作系统及其设计在安全中的作用
- 01-092022年全球勒索赎金TOP 10
- 03-06俄乌冲突快讯:乌克兰网站被攻击数量超十倍
- 02-23开放式银行创新:开发人员与网络犯罪分子之间的竞赛
- 02-23数据泄露后信息会怎样?
- 02-23四个首创 冬奥网络安全“黑科技”面面观
- 01-11全球最受赞誉公司揭晓:苹果连续九年第一
- 12-09罗伯特·莫里斯:让黑客真正变黑
- 12-09谁闯入了中国网络?揭秘美国绝密黑客小组TA
- 12-09警示:iOS6 惊现“闪退”BUG
- 11-18LG新能源宣布与Bear Robotics达成合作,成为
- 11-18机构:三季度全球个人智能音频设备市场强势
- 11-18闲鱼:注册用户过6亿 AI技术已应用于闲置交
- 11-18美柚、宝宝树回应“涉黄短信骚扰”:未发现
- 11-01京东七鲜与前置仓完成融合