视频地址
陈凯 net 4 AI
compress 传输量 并不能降低尾部传输时间
当然，平均的时延是会降低
说明瓶颈不在于传输量
丢一定量的数据包并不会影响模型的convergence
- 那么应该丢哪些包？ 后层的gradient和larger gradient更重要
DNN流的特性：跟以前的信息包不一样，前者是一个message包含多个包（包之间存在依赖性），现在是一个包包含多个message（包与包之间关联性不大），所以不用太多去考虑包乱序等事情。
至于现在 一个包 包含多个message这个特性是怎么来的，我就没有细究了。
之前的ECMP等负载均衡，就会考虑 perflow的粒度性能就差了，perpacket的粒度还得考虑乱序问题。
李丹 Net 4 AI
使用==贝叶斯优化==
