Twitch
Principal Research Engineer
沈悦时,博士,在亚马逊的全资子公司Twitch担任Principal Research Engineer。带领的研发团队负责Twitch核心视频技术的研发,职责涵盖直播视频转码、ABR播放算法、多平台播放兼容性、画面质量、时延等。同时是AOM(Alliance of Open media)视频编码协议AV1中SWITCH_FRAME的发明者,发表、申请超过15项技术专利。在加入Twitch之前,沈博士分别就职、服务于多个数字电视设备公司(GD Mediware,Ambarella,Harmonic, Ericsson TV)以及开创云游戏产业的初创企业OnLive。在这些公司,他主导、参与开发多个广泛应用的H.264编码、转码、非线性编辑和实时广告插播产品,以及在公共互联网上超低时延视频传输的云游戏核心技术。
他所在的专题
服务端与架构设计
架构设计永远没有最好的,只有最适合当前业务发展的,并且架构设计是需要后期的具体实现来作为最终实践的。而本专题是基于音视频领域畅谈服务端与客户端的架构设计以及实践,以及在不同阶段架构是如何不断进行演变以及进化的。无论你是一个开发工程师还是一个资深架构师,亦或是产品经理或者相关行业的从业者,都可以在本专题中学习到不同场景下音视频领域架构设计的心路历程,也可以帮助自己以后遇到同类问题的时候,心中有一个适合的架构蓝图。
AI与多媒体
就像空气和水一样,AI终将渗透在各个技术领域。本专题将甄选图像理解,NLP,网络发包策略,Codec智能编码等技术与AI技术的结合。
他的演讲
主播和观众之间的实时交流是互联网互动直播有别于传统电视的新功能。为实现双方对话的顺畅,端到端(即主播端发出画面到播放端显示画面)的延时目标一般应小于5秒。同时,在不牺牲服务质量(例如卡顿率、画面清晰度)的前提下,越低的延时能带来越好的互动性用户体验。 为保证上述小于5秒的低延时,Twitch在2011年成立之初曾采用RTMP格式来推流。然而随着同时在线观众达到一定规模,有状态的推流技术逐渐暴露出它高CPU占用率、低可扩展性的缺点,从而成为平台继续发展的最大技术瓶颈。在这种情况下,Twitch于2013年开始从RTMP切换到HLS。HLS的无状态拉流和ABR特性使得网站在用户规模和体验两方面都取得大幅度提升,但另一方面也把端到端的延时扩大到10秒。 为达成可扩展性、服务质量、互动性的三赢,Twitch团队研发了仍然基于HLS格式的低延时直播技术。新技术利用了HTTP 1.1的Chunked Transfer Encoding机制,并在直播分发路径从转码到播放的每一个环节都做了架构和软件的升级。Twitch的低延时功能自2018年5月初正式向所有主播开放以来,实现了3.7秒的中位数延时。对于很多网络状况良好的用户,延时甚至能小于2秒。Twitch的用户社区对这种超越RTMP的低延时表现给予了巨大的正面反馈,与此同时,根据我们的实际数据,低延时并不对容量、卡顿率等其他方面带来负面影响。
作为一个国际性的互动直播平台,Twitch服务的观众分布在世界的很多国家,从而具有千差万别的网络状况。这种差异性给我们试图提高服务质量亦或是发布任何前、后端的新功能都带来巨大的挑战。所以说如能建立起一个用户社区典型网络状况的知识库,那将对我们优化观看体验以及缩短软件部署周期都具有非同一般的意义。 根据平台收集到的海量播放质量指标,我们提出一个无监督学习的方法先对播放行为进行分组,因为每一个细分的播放行为集群都代表一类网络状况。下一步是用仿真和配对的方法来模拟出符合每种播放行为的网络模型。最后我们试图利用仿真出的结果来开发针对移动网络用户的ABR播放算法优化,同时加速它的灰度发布。