Microsoft实习手记第二篇 Distributed Tensorflow
分布式机器学习目前主要有两种实现: Allreduce 和 参数服务器 差别主要在于参数的更新同步模式，Allreduce中各个机器的参数是同步更新的(synchronized)，参数服务器的话可以选择BSP ASP SSP各种同步模式[1]。 目前我所接触的工业界想要做的是用参数服务器做数据并行。 Tensorflow的API经常变更，现在也处于一个2.0在beta测试的时间节点。很多设计以及API都在一个更迭时期。这里记录一下怎么在一个分布式环境下用Tensorflow实现参数服务器，本文不会讨论对参数服务器的优化，背后原理，收敛证明等。（本文保质期会很短）