音视频技术开发周刊 | 160

小雨敲窗y

每周一期，纵览音视频技术领域的干货。
  新闻投稿：contribute@livevideostack.com。
  

架构

WebRTC 1.0 标准中更新了 Candidate 筛选优先级内容
WebRTC 1.0：浏览器之间的实时通信
https://www.w3.org/blog/news/archives/8666
NAT traversal 如何工作的？
在我们的文章中，我们涵盖了关于Tailscale如何工作的很多内容。然而，我们忽略了如何通过NATs(网络地址转换器)直接连接你的设备，不管它们之间有什么障碍。让我们现在谈谈这个!
https://tailscale.com/blog/how-nat-traversal-works/
使用WebRTC开发Android Messenger：第1部分
这是一个由三部分组成的系列文章，内容涉及：利用WebRTC中的BUG和利用Messenger应用程序。本系列文章重点阐述了当应用程序不能应用于WebRTC补丁程序以及通信和安全问题通知中断时可能出问题的方面。
https://googleprojectzero.blogspot.com/2020/08/exploiting-android-messengers-part-1.html

传输网络

彻底弄懂TCP协议：从三次握手说起
说到 TCP 协议，相信大家都比较熟悉了，对于 TCP 协议总能说个一二三来，但是 TCP 协议又是一个非常复杂的协议，其中有不少细节点让人头疼点。本文就是来说说这些头疼点的，浅谈一些 TCP 的疑难杂症。
https://mp.weixin.qq.com/s/6LiZGMt2KRiIoMaLwx-lkQ
基于云的远程办公
本文来自SMPTE2020的演讲，作者是Grass Valley产品行销副总裁Boromy Ung。此次演讲的主题是：基于云的远程办公。
https://mp.weixin.qq.com/s/4hgkFTlTOyNxOOYift75lA
SRT协议概述
本文来自SVA 2020，主讲人是来自Haivision的Maxim Sharabayko，他向我们介绍了有关的SRT协议的许多内容。SRT能够让有损视频传输网络的性能表现看起来像无损视频传输，正是这种能力使得其越来越广为人知，这一点从SRT联盟的成员公司目前已经超过400个就可以证明。
https://mp.weixin.qq.com/s/xFMYU3YgNh51BPKnmKZdMg

编解码

FFmpeg 播放器实现音视频同步的三种方式
播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。
音视频的同步方式有 3 种，即：音视频分别向系统时钟同步、音频向视频同步及视频向音频同步。
https://mp.weixin.qq.com/s/RRZAAUV8OZ0ksyhFPJnGEw
浅析FFmpeg及SDL视频流播放存储技术
本文阐述FFmpeg与SDL的常用函数及各结构体间的关系，并给出视频流播放存储的实现过程。在实际应用中，可以根据支持的不同种传输协议、 媒体容器格式和音视频编解码标准，调整码率、帧数，实现不同需求的实时视频流播放存储，提高在不同情况下的媒体流播放效果。
https://mp.weixin.qq.com/s/ujBwUNHXegREKMehQtCk5g
GeForce RTX 30系列GPU：通过AV1解码迎来视频内容的新时代
视频占世界互联网流量的60％以上。随着世界变得更加数字化，寻找有效的视频传输方式比以往任何时候都更为重要。
https://www.nvidia.com/en-us/geforce/news/rtx-30-series-av1-decoding/

人物专访

当AI成为基础资源，360OS 发力在线教育的重心——专访360OS张焰
2020年疫情爆发，在疫情期间帮助行业降本增效，正成为一门大的学问和生意，其中AI在多行业应用中展现了前所未有的能量。360OS AI视觉在线上教育领域的突飞崛起，使得行业将眼光注入到这支AI新生力量中。为此，我们采访了360OS AI影像事业部研发总监张焰，一起探寻AI在线上教育应用中的中国式突围。
https://mp.weixin.qq.com/s/fHYcsld3ZgyY_uCk2mxjSw

音视频技术

RED：通过数据冗余提高音频质量
WebRTC 中的音频前向纠错替代方案。
https://webrtchacks.com/red-improving-audio-quality-with-redundancy/
AI加持的竖屏沉浸播放新体验
本文由爱奇艺刘小辉在LiveVideoStackCon 2020 线上峰会的演讲内容整理而成，内容主要讲述通过AI智能的视频画面主体识别能力和字幕识别能力，实现在手机端竖屏全屏观看横拍视频的新体验，给用户提供沉浸视界新体验。
https://mp.weixin.qq.com/s/xgfhi-6y8Mh-DTk1Bdn8FQ
At home production
本文来自VIDOVATION的线上会议，参与会议的主要成员有来自MediaKind的Matthew Goldman，VidOvation的Jim Jachetta，VISTA WorldLink的Josh Liemer和Matrox Video的Dan Maloney。在这次会议主要介绍了At home production这一直播新技术。
https://mp.weixin.qq.com/s/yhMbWVYkU-6cgDotdv9kiA

AI智能

亚马逊团队在 Interspeech 2020 深度降噪挑战赛中获得第一名
什么时候可以 WebAssembly 形式发布出来？
https://www.amazon.science/blog/amazon-team-takes-first-place-in-interspeech-2020-deep-noise-suppression-challenge
深度学习对机器视觉的影响
本文结合了embeded vision 2019中FLIR的演讲PPT和威视康电子报中的内容，汇总一下当前深度学习对机器视觉制造的影响。
https://mp.weixin.qq.com/s/nAxbljcLeGWsPK6ITunzTA
Keras vs PyTorch vs Caffe：CNN实现对比
在本文中，我们将构建相同的深度学习框架，即在Keras、PyTorch和Caffe中对同一数据集进行卷积神经网络图像分类，并对所有这些方法的实现进行比较。最后，我们将看到PyTorch构建的CNN模型如何优于内置Keras和Caffe的同行。
https://juejin.im/post/6865636168354725895

图像处理

图像质量评价：IQA介绍
图像质量评价(Image quality assessment,IQA)目的在于使用计算模型来衡量图像质量使结果与主观质量保持一致（即主观质量好的图像其IQA评分也应该越高）。随着数字图像和传输技术的快速增长，IQA在图像获取、传输、压缩、恢复、增强等领域也变得更加重要。
https://mp.weixin.qq.com/s/F9b7qMAX0aKLvdQIKpTVWw
虚拟现实革命前夕：第四次工业革命的钥匙之一 ——VR&AR深度行业研究报告
VR最大的价值在于，在遥远的未来可以创造一个虚拟世界；AR最大的价值，作为一种工具改造人类生活的方方面面。
https://mp.weixin.qq.com/s/yUZE79XCWf_3PkNXuZooIA

资讯速览

• RingByName 宣布免费视频会议和远程协作
  
• Zoom 出品家用智能显示屏
  

活动推荐

【线上分享】 Xilinx U30 视频转码 + AI 的应用

9月10日晚19:30，我们邀请到赛灵思数据中心业务拓展经理梁晓明、视频技术专家曹洪以及Aupera CTO周正宁，带来Xilinx 新推出的Alveo U30介绍，分享视频转码的难点与瓶颈，并详细解析赛灵思在视频转码与AI深度结合实践。
Xilinx U30是一款基于PCIe的小尺寸媒体加速卡，可为实时流媒体视频服务提供商、OEM厂商以及内容分发网络（CDN）提供高密度的实时转码及视频实时分析解决方案。
点击【阅读原文】或扫码、访问链接预约报名：
http://livevideostack.mikecrm.com/izFf2o5

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！