“旧时王谢堂前燕，飞入寻常百姓家。”

2016年，视频行业发展迅猛，这主要得益于网络环境提升与智能设备的普及。

以往大型企业、政府机构使用的昂贵视频应用，已经走出会议室，带给人们更多的便利，在互联网时代，远程医疗、在线教育、智慧乡镇，都已经逐步实现。

小鱼易连近期开设“科普”专栏，由小鱼易连首席科学家李勤规划一系列专题，让大家了解到移动互联网下音视频通信行业的挑战和技术前沿，从而能够更好地把握现在，拥抱未来。

专家介绍

李勤 

小鱼易连联合创始人兼首席科学家，音频处理及网络通信领域专家。北京大学地球物理系学士学位，美国华盛顿大学（University of Washington）电子工程硕士学位。在攻读博士学位期间退学加入美国微软，在微软从事音频算法及网络通信技术的深入研究和开发近10年，在音视频通信领域有丰富的研究和工程开发的经验，是8项美国注册的发明者。

现在，人们使用的音视频服务变得越来越方便和简单，但真正懂音频、视频的人，并不多。今天，给大家把移动互联网下的音视频通信技术做一个整体介绍，后续将对相关内容进行逐一讲解。

我们正处于音视频行业发展的机遇期

基础网络的快速发展，给音视频行业带来了新的机会。

 

✔ 4G移动网络和宽带的普及，给音视频行业发展提供了基础保障。

✔ 移动应用呈爆发式的增长，社交、O2O服务、直播、网红等需求非常大。

✔ 企业级协作需求增加，移动办公、企业培训、远程服务等需求逐渐增强。

✔ 政策支持：政府大力推进远程教育、分级诊疗等，解决资源不均衡的问题。

我们正面临音视频通信的诸多挑战

互联网上的音视频通信挑战巨大，最基本的问题就是带宽，整个网络的情况复杂，丢包、延时、拥塞，这些都会对音视频的传输带来很大的影响。

 

我们日常使用的WIFI主要有两个频段，2.4GHz 和 5GHz。2.4G只有三个独立信道，同时接入大量设备，信道间的干扰很大，虽然当前支持5G的设备还比较少，但是5G信道多，干扰少。而手机移动网络，则受到场地信号强弱的限制，速度较慢。

国内不同运营商之间的互通效果不理想，跨国网络质量差，对音视频传输是很大的挑战。

另外一个挑战和用户的使用场景相关，多人会议中，每个终端的性能和网络状况不一样，这就涉及到网络传输的优化策略。

在互联网上做音视频，做的不只是软件，而是服务，用户规模和服务可用性，对服务器的部署、运维、监控都有很高的要求。

应对挑战：需要进行系统性的优化

如何应对音视频通信行业的这些挑战呢？我们认为这需要整个通信系统的优化，从最前端的音视频采集、处理、回放，到音视频的编解码（包括硬件编解码加速）、音视频传输协议、网络传输优化、服务软件构架设计、服务器部署和连接、链路优化等各方面，整个音视频通信系统要作整体考虑，统一优化。

小鱼易连的优势在于对整个音视频通信系统的了解非常深入，核心技术团队在音视频方面的积累非常深厚。我们设计出了业界最优的基于互联网的音视频通信整体构架，为这个构架去优化每一个模块。

智能硬件+SaaS云服务，软硬结合实现极佳音视频体验

小鱼易连掌握最先进的音视频技术，用在实际的应用场景中，通过“智能硬件+云服务”，为用户提供极佳的音视频应用体验。

自主创新的一体化智能硬件

对于音视频通信，硬件是服务的依托，只有最好的硬件，才能给用户提供最佳的音视频体验。

小鱼易连设备从外观到结构、从系统定制到前端软件，完全是自主设计开发的，关键的元器件，如摄像头、感光元件、麦克风、喇叭等，都是经过反复测试挑选的。我们掌握硬件编码，能够修改与硬件相关的驱动设置，让硬件实现高清晰度的音视频编解码。

基于互联网的音视频云服务

有了“云”，极大降低了用户使用企业级音视频服务的门槛。相比传统的音视频会议系统，云服务从成本和安装使用的便易性上都有明显的优势。但同时基于互联网的音视频云服务在技术实现上也有着巨大的挑战，接下来为大家详细讲述。

行业领先的音视频技术主要体现在5个方面

音视频编码

音频编码，我们选择的是Opus，它最大的特点是适应范围特别广，从特别低码流的窄带语音到超宽带语音，甚至到高保真的立体声音乐全部都可以支持；可以根据网络状况动态调整参数，不需要再次协商，特别适用移动互联网的音频传输。经过我们的私有扩展，Opus 还可以支持分层编码（Scalable Audio Codec）。

视频编码，我们采用的是基于H.264的分层编码（Scalable Video Coding，可伸缩视频编码）。它的特点是编码器可以在帧率、分辨率、质量上进行分层，一次编码可以输出多层码流，包括基本层和一个或多个增强层，基本层占用比较少的带宽资源，保证基本的视频质量；基本层加上增强层后就可以得到更好的帧率、分辨率或质量。不同的终端可以根据自身的解码能力和带宽情况选择只接收基本层，或者基本层加增强层。

另外，我们还对编码器做了深度优化，可以实现场景自适应。不同的场景实际上需要不同的编码参数，需要系统实时自动检测场景状态，自适应调整参数，在一定的带宽限制下选择最佳的编码参数。

媒体服务架构

点对点呼叫场景中，有时候因为码流无法穿越防火墙，需要有服务器来做中转；在多人会议的场景下，必须有中间服务器，否则要把所有人的码流传给其它所有人，带宽将无法控制。这就需要媒体服务架构 MCU（多点控制单元）。

传统MCU做的是“全编全解”，即把所有人的码流在服务器上解码，再编码合成一个码流，传给其他人。

我们采取的是基于音视频分层编码的架构，服务器不做编解码，只做码流的中转，各个终端根据自己的能力和网络状况，经过服务器中转向发送端请求合适的码流。这样做的好处是：服务器容量高、可扩展性强。对云服务来说，基于分层编码的构架是最优的。分层编码还更加适合有丢包情况下的纠错和补偿，这一点后面还会提到。

网络传输

网络传输要解决的是音视频数据如何从一个点可靠地传到另一个点，需要在通话过程中对网络状态自动检测，包括带宽、丢包、延时和抖动，把这些信息反馈到发送方并实时调整编解码参数。

我们的音频处理策略，基本的的策略是动态码率调整，根据带宽我们选择最合适的码率；对于丢包的情况，我们采取的是动态前向纠错（冗余保护），根据丢包的比例、分布，来确定最佳的丢包参数；丢包补偿算法可以根据语音的结构，进行平滑的插值，让人耳听起来还是一个连续的语音，不影响语义理解；经过我们的私有扩展，Opus 可以支持音频分层编码，可以生成两层码流，一个低码率的、一个高码率的，低码率可以用来做纠错。经过这些处理后，50%丢包情况下可以保证语音的清晰；80%丢包情况下可以正常通话。

视频处理策略方面，最基本的也是动态分辨率、码率调整；在丢包方面，我们采取的是动态丢包重传和前向纠错相结合的方式，丢包重传效率较高、延时较大，前向纠错的效率相对低一些、但能较好的控制延时。我们把两个方法结合，根据丢包状况、网络延时，选择最佳方式。只采取丢包重传的处理，30%丢包的情况下视频仍然流畅；采取丢包重传加前向纠错的处理，50%丢包的情况下视频依然是可用的，能保持基本的视频体验。

服务器部署

在服务器部署方面，我们采取的是多点分布式的部署方式。在不同的区域，根据用户的分布和使用状况，我们可以灵活部署多个媒体服务器，终端就近接入服务器，音视频就近中转，多服务器协作，动态调整，互相备份，降低延时，减少网络流量，提高服务的可靠性，最多支持万方会议，如果会议中断还可以自动迁移到附近的服务器。

网络链路优化

网络链路优化是比较底层的，主要针对跨国线路，使用专有的链路优化算法，包括底层的冗余保护、动态多路由、智能丢包重传策略，保证整体的通话质量。

让世界零距离

当前，音视频行业发展迅速，企业级应用需求强烈；同时，移动互联网的复杂性，给音视频应用带来很大的挑战，只有在编码、传输、软件服务构架、网络部署及链路优化等方面进行系统性的创新和优化，才能实现极佳的移动音视频体验。

通过小鱼易连，足不出户、3秒见名医，优质教育资源随手可得，远程协作、智慧政务，“穿越”千里面对面。零距离的工作与生活，已经实现。