限 时 特 惠： 本站每日持续稳定更新内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
选自
作者：Alex 、Dan 、Wolff
机器之心编辑部
近日，谷歌发布了一项新的 工具「」，能将 print() 函数和其它 代码转化为纯 计算图代码。这一工具极大地加强了 在调用纯 语句时的性能，开发者可以轻松在 上实现更好的模型性能。
项目地址：
一般而言，在写 代码时，我们需要构建整个算法的计算图，或者规划所有数据流的计算过程，然后再投入数据并快速执行整个或局部计算图。当然因为当前 和 Keras 等动态计算图的流行， 也发布了 Eager ，它可以帮助用户自动构建计算图。但一般的 还是常使用静态计算图的方式，因为它的构建逻辑与部署都非常有优势。
然而对于入门开发者而言，理解静态计算图是比较困难的，因此很容易引起开发者的困惑。尤其是在一些涉及更复杂模型场景中，例如使用 if 和 while 等 语句，或使用 print() 与接受结构化输入等，它们都会引起我们对计算图的困惑。
所以为什么 需要使用计算图呢？计算图允许各种各样的优化，例如移除公共的子表达式和内核融合等。此外，计算图简化了分布式训练和部署时的环境配置，因此它们可被视为一种独立于平台的模型计算形式。这一特性对于在多 GPU 或 TPU 上的分布式训练极其重要，当然基于 Lite 在移动端和 IoT 上部署模型也非常重要。
以下是一个非常简单的操作示例：
def huber_loss(a):
if tf.abs(a) <= delta:
loss = a * a / 2
else:
loss = delta * (tf.abs(a) - delta / 2)
return loss使用 Eager ，这只是「正确运行」而已，但是此类操作可能会比较慢，因为 解释器众所周知在实现地比较慢，且需要的计算比较复杂，这会令它错过许多程序优化的机会。
为了给图执行做好准备，你需要重写代码，使用 tf.cond() 等语句，但是这很繁琐且难以实现。 可以自动完成该转换，保持 Eager 编程的简易性，同时还提升了计算图执行的性能。
在该示例中，我们可以使用 .() 布置我们的函数， 将自动生成图可用的代码。
使用 ，由于 ，下列代码：
@autograph.convert()
def huber_loss(a):
if tf.abs(a) <= delta:
loss = a * a / 2
else:
loss = delta * (tf.abs(a) - delta / 2)
return loss在执行时变成如下代码：
def tf__huber_loss(a):
with tf.name_scope('huber_loss'):
def if_true():
with tf.name_scope('if_true'):
loss = a * a / 2
return loss,
def if_false():
with tf.name_scope('if_false'):
loss = delta * (tf.abs(a) - delta / 2)
return loss,
loss = ag__.utils.run_cond(tf.less_equal(tf.abs(a), delta), if_true,
if_false)
return loss
接下来，你可以调用你的代码，就像使用一般的 op 一样：
with tf.Graph().as_default():
x_tensor = tf.constant(9.0)
# The converted function works like a regular op: tensors in, tensors out.
huber_loss_tensor = huber_loss(x_tensor)
with tf.Session() as sess:
print('TensorFlow result: %2.2fn' % sess.run(huber_loss_tensor))
如你所见， 连接起 Eager 和 Graph。 使用 Eager-style 的 代码，然后将其转换成图生成代码。
不只是有用宏命令的集合，它还可以使用源代码转换来覆写 语言的任意部分，包括控制流、函数应用和分配，生成样板代码，重构惯用 ，以使转换成图的过程变得简单。
使用任意编译器，都会对错误信息可读性产生担忧；为此， 可以创建错误信息，并堆叠揭示原始源代码中错误来源的多个轨迹，而不是仅仅显示生成代码的 。
可运行示例
那么， 可以为我们做什么呢？以下有一些示例代码，它们可以直接转换为图代码而不需要任何的改写。如果你想实际运行这些操作tf.cond，谷歌在这个 的 Colab 中提供了一个 可供使用。
：
Colab：
以下我们使用循环和分支来测试「科拉兹猜想」。注意，考虑到多样性，我们将不使用 ，而使用 的.()函数将其转换为图。
def collatz(a):
counter = 0
while a != 1:
if a % 2 == 0:
a = a // 2
else:
a = 3 * a + 1
counter = counter + 1
return counter
graph_mode_collatz = autograph.to_graph(collatz)
# The code is human-readable, too
print(autograph.to_code(collatz))
collatz_tensor = graph_mode_collatz(tf.constant(n))
可以支持任意的嵌套控制流，例如：
def f(n):
if n >= 0:
while n < 5:
n += 1
print(n)
return n
允许你在循环中添加元素到数组中。为了让其工作，我们使用一些 辅助工具， 和 stack。
def f(n):
z = []
# We ask you to tell us the element dtype of the list
autograph.set_element_type(z, tf.int32)
for i in range(n):
z.append(i)
# when you're done with the list, stack it
# (this is just like np.stack)
return autograph.stack(z)
我们还支持 break、，甚至 print 和 等语句。当转换完成后，这个片段的 使用合适的 tf. 将其转换为 计算图。
def f(x):
assert x != 0, 'Do not pass zero!'
return x * x
具备轻易地添加循环、控制流等到图上的能力意味着可以很容易将训练循环转移到图中。可以在这个 Colab 的 中找到一个示例，其中使用了一个 RNN 训练循环，并用一个 sess.run() 调用来执行它。当你需要传递一个完整的训练循环到加速器时，这很有用，比通过 CPU 控制器管理训练过程更好。
打开了构建和训练模型的新思路。谷歌在未来将基于开发者社区建议尝试添加更多的功能到 上tf.cond，请提出你的建议吧！
提建议：
Graph 对比 Eager
Eager 相当合用，但图更快。尽管对比基准较为复杂（由应用以及硬件配置决定），但在一些简单示例中我们可以看到，当从 Eager 转换到 代码时有极大的加速，使用了大量 if 和 while 等语句。
最终， 让你可以在 GPU 和 Cloud TPU 这样的加速器硬件上使用动态和流控制极严模型，这对在大量数据上训练大型模型非常有帮助。
和 Eager
虽然使用 Eager ，你也能通过 tf..eager.defun 对部分代码根据计算图执行。但这需要你使用 tf.cond() 这样计算图类的 ops。未来， 将无缝与 defun 融合，让你用简单的 eager-style 编写图代码。当成为现实时，通过选择性的把 eager 代码转换到图分段，你就可以期待使用 加速热点了。
结论
能够让你轻松的建立在 图中轻松运行的直观性、复杂模型。这是目前在 中运行的实验性工具，但我们期望能够尽快把它加入到 核心模块。
原文链接：
限 时 特 惠： 本站每日持续稳定更新内部创业教程，一年会员只需98元，全站资源免费下载 点击查看详情
站 长 微 信： muyang-0410
