简单粗暴 TensorFlow 2 | A Concise Handbook of TensorFlow 2

基于Keras和即时执行模式 | Based on Keras and Eager Execution

简体中文版

繁體中文版

English Version

简体中文版

这是一本简明的 TensorFlow 2 入门指导手册，基于 Keras 和即时执行模式（Eager Execution），力图让具备一定机器学习及 Python 基础的开发者们快速上手 TensorFlow 2。同时也是纸质版技术手册 《简明的 TensorFlow 2》 的部分草稿。

本手册的所有代码基于 TensorFlow 2.2 正式版。文中的所有示例代码可至 这里 获得。

本手册正于TensorFlow官方微信公众号（TensorFlow_official）连载，可点此查看 连载文章目录 。本手册的原始语言为简体中文，并有 繁体中文版 和 英文版 。本手册是 Google Summer of Code 2019 项目之一，并获得 谷歌开源贡献奖（Google Open Source Peer Bonus） 。

自2020年4月起，在每章文末加入了留言区，欢迎有需要的读者在文末讨论交流。

GitHub： https://github.com/snowkylin/tensorflow-handbook

教程答疑区： https://discuss.tf.wiki

纸质完整版：《简明的 TensorFlow 2》

本书纸质版《简明的 TensorFlow 2》由人民邮电出版社（图灵社区）出版，在本在线手册的基础上进行了细致的编排校对，并增加了若干 TensorFlow 高级专题，全彩印刷，为读者带来更好的阅读体验。 豆瓣评分：https://book.douban.com/subject/35217981/ 纸质版购买链接： 京东 当当 天猫 图灵社区

目录

• 推荐序
  • 李双峰（Google TensorFlow 中国研发负责人）
  • Soonson Kwon (Global ML Ecosystem Programs Lead in Google)
  • 童云海（北京大学图书馆副馆长）
• 前言
  • 本书的适用群体
  • 如何使用本书
  • 致谢
• TensorFlow概述
  • 学生和研究者：模型的建立与训练
  • 开发者和工程师：模型的调用与部署
  • TensorFlow能帮助我们做什么？

基础

• TensorFlow安装与环境配置
  • 一般安装步骤
  • GPU版本TensorFlow安装指南
    • GPU硬件的准备
    • NVIDIA驱动程序的安装
    • CUDA Toolkit和cuDNN的安装
  • 第一个程序
  • IDE设置
  • TensorFlow所需的硬件配置 *
• TensorFlow基础
  • TensorFlow 1+1
  • 自动求导机制
  • 基础示例：线性回归
    • NumPy下的线性回归
    • TensorFlow下的线性回归
• TensorFlow 模型建立与训练
  • 模型（Model）与层（Layer）
  • 基础示例：多层感知机（MLP）
    • 数据获取及预处理： tf.keras.datasets
    • 模型的构建： tf.keras.Model 和 tf.keras.layers
    • 模型的训练： tf.keras.losses 和 tf.keras.optimizer
    • 模型的评估： tf.keras.metrics
  • 卷积神经网络（CNN）
    • 使用Keras实现卷积神经网络
    • 使用Keras中预定义的经典卷积神经网络结构
  • 循环神经网络（RNN）
  • 深度强化学习（DRL）
  • Keras Pipeline *
    • Keras Sequential/Functional API 模式建立模型
    • 使用 Keras Model 的 compile 、 fit 和 evaluate 方法训练和评估模型
  • 自定义层、损失函数和评估指标 *
    • 自定义层
    • 自定义损失函数和评估指标
• TensorFlow常用模块
  • tf.train.Checkpoint ：变量的保存与恢复
  • TensorBoard：训练过程可视化
    • 实时查看参数变化情况
    • 查看Graph和Profile信息
    • 实例：查看多层感知机模型的训练情况
  • tf.data ：数据集的构建与预处理
    • 数据集对象的建立
    • 数据集对象的预处理
    • 使用 tf.data 的并行化策略提高训练流程效率
    • 数据集元素的获取与使用
    • 实例：cats_vs_dogs图像分类
  • TFRecord ：TensorFlow数据集存储格式
    • 将数据集存储为 TFRecord 文件
    • 读取 TFRecord 文件
  • tf.function ：图执行模式 *
    • tf.function 基础使用方法
    • tf.function 内在机制
    • AutoGraph：将Python控制流转换为TensorFlow计算图
    • 使用传统的 tf.Session
  • tf.TensorArray ：TensorFlow 动态数组 *
  • tf.config：GPU的使用与分配 *
    • 指定当前程序使用的GPU
    • 设置显存使用策略
    • 单GPU模拟多GPU环境

部署

• TensorFlow模型导出
  • 使用SavedModel完整导出模型
  • Keras 自有的模型导出格式（Jinpeng）
• TensorFlow Serving
  • TensorFlow Serving安装
  • TensorFlow Serving模型部署
    • Keras Sequential模式模型的部署
    • 自定义Keras模型的部署
  • 在客户端调用以TensorFlow Serving部署的模型
    • Python客户端示例
    • Node.js客户端示例（Ziyang）
• TensorFlow Lite（Jinpeng）
  • 模型转换
  • Android部署
  • Quantization模型转换
  • 总结
• TensorFlow in JavaScript（Huan）
  • TensorFlow.js 简介
    • 浏览器中使用 TensorFlow.js 的优势
  • TensorFlow.js 环境配置
    • 在浏览器中使用 TensorFlow.js
    • 在 Node.js 中使用 TensorFlow.js
    • 在微信小程序中使用 TensorFlow.js
  • TensorFlow.js 模型部署
    • 在浏览器中加载 Python 模型
    • 在 Node.js 中执行原生 SavedModel 模型
    • 使用 TensorFlow.js 模型库
    • 在浏览器中使用 MobileNet 进行摄像头物体识别
  • TensorFlow.js 模型训练 *
    • TensorFlow.js 性能对比

大规模训练与加速

• TensorFlow分布式训练
  • 单机多卡训练： MirroredStrategy
  • 多机训练： MultiWorkerMirroredStrategy
• 使用TPU训练TensorFlow模型（Huan）
  • TPU 简介
    • 什么是 TPU
    • 为什么使用 TPU
    • TPU 性能
  • TPU 环境配置
    • 免费 TPU：Google Colab
    • Cloud TPU
  • TPU 基础使用

扩展

• TensorFlow Hub 模型复用（Jinpeng）
  • TF Hub 网站
  • TF Hub 安装
  • TF Hub 模型使用样例
  • TF Hub 模型retrain样例
• TensorFlow Datasets 数据集载入
• Swift for TensorFlow (S4TF) (Huan）
  • S4TF 简介
    • 为什么要使用 Swift 进行 TensorFlow 开发
  • S4TF 环境配置
    • 本地安装 Swift for TensorFlow
    • 在 Colaboratory 中快速体验 Swift for TensorFlow
    • 在 Docker 中快速体验 Swift for TensorFlow
  • S4TF 基础使用
    • 在 Swift 中使用标准的 TensorFlow API
    • 在 Swift 中直接加载 Python 语言库
    • 语言原生支持自动微分
    • MNIST数字分类
• TensorFlow Quantum: 混合量子-经典机器学习 *
  • 量子计算基本概念
    • 量子比特
    • 量子逻辑门
    • 量子线路
    • 多比特的量子线路和量子纠缠 *
    • 实例：使用Cirq建立简单的量子线路
  • 混合量子-经典机器学习
    • 量子数据集与带参数的量子门
    • 参数化的量子线路（PQC）
    • 将参数化的量子线路嵌入机器学习模型
    • 实例：对量子数据集进行二分类

附录

• 强化学习简介
  • 从动态规划说起
  • 加入随机性和概率的动态规划
  • 环境信息无法直接获得的情况
  • 从直接算法到迭代算法
    • q值的渐进性更新
    • 探索策略
  • 大规模问题的求解
  • 总结
• 使用Docker部署TensorFlow环境
• 在云端使用TensorFlow
  • 在Colab中使用TensorFlow
  • 在Google Cloud Platform（GCP）中使用TensorFlow
    • 在Compute Engine建立带GPU的实例并部署TensorFlow
    • 使用AI Platform中的Notebook建立带GPU的在线JupyterLab环境
  • 在阿里云上使用 GPU 实例运行 Tensorflow（Ziyang）
• 部署自己的交互式Python开发环境JupyterLab
• 参考资料与推荐阅读
• 术语中英对照表

繁体中文版

目錄

• 前言
  • 本書的適用羣體
  • 如何使用本書
  • 致謝
• TensorFlow概述
  • 學生和研究者：模型的建立與訓練
  • 開發者和工程師：模型的呼叫與部署
  • TensorFlow 能幫助我們做什麼？

基礎

• TensorFlow 安裝與環境配置
  • 一般安裝步驟
  • GPU 版本 TensorFlow 安裝指南
    • GPU 硬體的準備
    • NVIDIA 驅動程式的安裝
    • CUDA Toolkit 和 cuDNN 的安裝
  • 第一個程式
  • IDE 設置
  • TensorFlow 所需的硬體配置 *
• TensorFlow 基礎
  • TensorFlow 1+1
  • 自動推導機制
  • 基礎範例：線性回歸
    • NumPy 下的線性回歸
    • TensorFlow下的線性回歸
• TensorFlow 模型建立與訓練
  • 模型（Model）與層（Layer）
  • 基礎範例：多層感知器（MLP）
    • 資料獲取及預處理： tf.keras.datasets
    • 模型的建構： tf.keras.Model 和 tf.keras.layers
    • 模型的訓練： tf.keras.losses 和 tf.keras.optimizer
    • 模型的評估： tf.keras.metrics
  • 卷積神經網路（CNN）
    • 使用Keras實現卷積神經網路
    • 使用Keras中預定義的典型卷積神經網路結構
  • 循環神經網路（RNN）
  • 深度強化學習（DRL）
  • Keras Pipeline *
    • Keras Sequential/Functional API 模式建立模型
    • 使用 Keras Model 的 compile 、 fit 和 evaluate 方法訓練和評估模型
  • 自定義層、損失函數和評量指標 *
    • 自定義層
    • 自定義損失函數和評量指標
• TensorFlow常用模組
  • tf.train.Checkpoint ：變數的保存與還原
  • TensorBoard：訓練過程可視化
    • 實時查看參數變化情況
    • 查看Graph和Profile信息
    • 實例：查看多層感知器模型的訓練情況
  • tf.data ：資料集的建立與預處理
    • 資料集對象的建立
    • 資料集對象的預處理
    • 使用 tf.data 的平行化策略提高訓練流程效率
    • 資料集元素的獲取與使用
    • 實例：cats_vs_dogs圖片分類
  • TFRecord ：TensorFlow資料集存儲格式
    • 將資料集存儲為 TFRecord 文件
    • 讀取 TFRecord 文件
  • tf.function ：圖執行模式 *
    • tf.function 基礎使用方法
    • tf.function 內在機制
    • AutoGraph：將Python控制流轉換為TensorFlow計算圖
    • 使用傳統的 tf.Session
  • tf.TensorArray ：TensorFlow 動態陣列 *
  • tf.config：GPU的使用與分配 *
    • 指定當前程式使用的GPU
    • 設置顯示卡記憶體儲存空間使用策略
    • 單GPU模擬多GPU環境

部署

• TensorFlow模型匯出
  • 使用SavedModel完整匯出模型
  • Keras Sequential save方法（Jinpeng）
• TensorFlow Serving
  • TensorFlow Serving 安裝
  • TensorFlow Serving 模型部署
    • Keras Sequential 模式模型的部署
    • 自定義 Keras 模型的部署
  • 在客戶端呼叫以 TensorFlow Serving 部署的模型
    • Python 客戶端範例
    • Node.js客戶端範例（Ziyang）
• TensorFlow Lite（Jinpeng）
  • 模型轉換
  • Android部署
  • Quantization 模型轉換
  • 總結
• TensorFlow in JavaScript（Huan）
  • TensorFlow.js 簡介
    • 瀏覽器中使用 TensorFlow.js 的優勢
  • TensorFlow.js 環境配置
    • 在瀏覽器中使用 TensorFlow.js
    • 在 Node.js 中使用 TensorFlow.js
    • 在微信小程式中使用 TensorFlow.js
  • TensorFlow.js 模型部署
    • 在瀏覽器中加載 Python 模型
    • 在 Node.js 中執行原生 SavedModel 模型
    • 使用 TensorFlow.js 模型資料庫
    • 在瀏覽器中使用 MobileNet 進行攝像頭物體辨識
  • TensorFlow.js 模型訓練 *
    • TensorFlow.js 性能對比

大規模訓練與加速

• TensorFlow分布式訓練
  • 單機多卡訓練： MirroredStrategy
  • 多機訓練： MultiWorkerMirroredStrategy
• 使用TPU訓練TensorFlow模型（Huan）
  • TPU 簡介
    • 什麼是 TPU
    • 爲什麼使用 TPU
    • TPU 性能
  • TPU 環境配置
    • 免費 TPU：Google Colab
    • Cloud TPU

擴展

• TensorFlow Hub 模型複用（Jinpeng）
  • TF Hub 網站
  • TF Hub 安裝
  • TF Hub 模型使用案例
  • TF Hub 模型 Retrain 範例
• TensorFlow Datasets 資料集載入
• Swift for TensorFlow (S4TF) (Huan）
  • S4TF 簡介
    • 為什麼要使用 Swift 進行 TensorFlow 開發
  • S4TF 環境配置
    • 本機安裝 Swift for TensorFlow
    • 在 Colaboratory 中快速體驗 Swift for TensorFlow
    • 在 Docker 中快速體驗 Swift for TensorFlow
  • S4TF 基礎使用
    • 在 Swift 中使用標準的 TensorFlow API
    • 在 Swift 中直接載入 Python 語言函式庫
    • 語言原生支持自動微分
    • MNIST數字分類
• TensorFlow Quantum: 混合量子-經典機器學習 *
  • 量子計算基本概念
    • 量子位元
    • 量子邏輯閘
    • 量子電路
    • 實例：使用Cirq建立簡單的量子電路
  • 混合量子-經典機器學習
    • 量子資料集與包含參數的量子閘
    • 參數化的量子電路（PQC）
    • 將參數化的量子電路嵌入機器學習模型
    • 範例：對量子資料集進行二分類

附錄

• 強化學習簡介
  • 從動態規劃說起
  • 加入隨機性和機率的動態規劃
  • 環境資訊無法直接獲得的情況
  • 從直接演算法到疊代演算法
    • q值的漸進性更新
    • 探索策略
  • 大規模問題的求解
  • 總結
• 使用Docker部署TensorFlow環境
• 在雲端使用TensorFlow
  • 在Colab中使用TensorFlow
  • 在Google Cloud Platform（GCP）中使用TensorFlow
    • 在 Compute Engine 建立支援 GPU 的實例並部署 TensorFlow
    • 使用 AI Platform 中的 Notebook 建立資源GPU 的線上 JupyterLab 環境
• 部署自己的互動式 Python 開發環境 JupyterLab
• 參考資料與推薦閱讀
• 專有名詞中英對照表

English Version (in progress)

This is a concise handbook of TensorFlow 2.0 based on Keras and Eager Execution mode, aiming to help developers with some basic machine learning and Python knowledge to get started with TensorFlow 2.0 quickly.

The code of this handbook is based on TensorFlow 2.0 stable version and beta1 version. All sample code in this handbook can be viewed here .

The English version of this handbook is still in progress (section title with a ✔️ means that the translation of this section is finished). Please refer to https://v1.tf.wiki for the eariler version. This handbook is a project of Google Summer of Code 2019 .

GitHub： https://github.com/snowkylin/tensorflow-handbook

Q&A: https://discuss.tf.wiki

Preface

• Preface
  • Target readers
  • Usage
  • Acknowledgement
• TensorFlow Overview
  • For students and researchers: To build and train models
  • For developers and engineers: To call and deploy models
  • What can TensorFlow do for us?

Basic

• Installation and Environment Configuration
  • General steps for installation
  • Guide for TensorFlow GPU version installation
    • Preperations for GPU hardwares
    • Installation of NVIDIA drivers
    • Installation of CUDA Toolkit and cuDNN
  • Your first program
  • IDE configuration
  • The hardware configuration for TensorFlow *
• TensorFlow Basic
  • TensorFlow 1+1
  • Automatic differentiation mechanism
  • A basic example: Linear regression
    • Linear regression under NumPy
    • Linear regression under TensorFlow
• Model Construction and Training
  • Models and layers
  • Basic example: multi-layer perceptron (MLP)
    • Data acquisition and pre-processing with tf.keras.datasets
    • Model construction with tf.keras.Model and tf.keras.layers
    • Model training with tf.keras.losses and tf.keras.optimizer
    • Model Evaluation with tf.keras.metrics
  • Convolutional Neural Network (CNN)
    • Implementing Convolutional Neural Networks with Keras
    • Using predefined classical CNN structures in Keras
  • Recurrent Neural Network (RNN)
  • Deep Reinforcement Learning (DRL)
  • Keras Pipeline *
    • Use Keras Sequential/Functional API to build models
    • Train and evaluate models using the compile, fit and evaluate methods of Keras
  • Custom layers, losses and metrics *
    • Custom layers
    • Custom loss functions and metrics
• Common Modules in TensorFlow
  • Variable saving and restore: tf.train.Checkpoint
  • Visualization of training process: TensorBoard
    • Real-time monitoring of indicator change
    • Visualize Graph and Profile Information
    • Example: visualize the training process of MLP
  • Dataset construction and preprocessing: tf.data
    • Dataset construction
    • Dataset preprocessing
    • Increase the efficiency using the parallelization strategy of tf.data
    • Fetching elements from datasets
    • Example: cats_vs_dogs image classification
  • TFRecord: Dataset format of TensorFlow
    • Convert the dataset into a TFRecord file
    • Read the TFRecord file
  • Graph execution mode: @tf.function *
    • Basic usage of tf.function
    • Internal mechanism of tf.function
    • AutoGraph: Converting Python control flows into TensorFlow graphs
    • Using traditional tf.Session
  • TensorFlow dynamic array: tf.TensorArray *
  • Setting and allocating GPUs: tf.config *
    • Allocate GPUs for current program
    • Setting GPU memory usage policy
    • Simulating a multi-GPU environment with a single GPU

Deployment

• TensorFlow Model Export
  • Export models by SavedModel
• TensorFlow Serving
  • Installation of TensorFlow Serving
  • TensorFlow Serving models deployment
    • Keras Sequential mode models deployment
    • Custom Keras models deployment
  • Calling models deployed by TensorFlow Serving on client
    • An example of Python client
    • An example of Node.js client

Large-scale Training

• Distributed training with TensorFlow
  • Training on a single machine with multiple GPUs: MirroredStrategy
  • Training on multiple machines: MultiWorkerMirroredStrategy

Extensions

• TensorFlow Datasets: Ready-to-use Datasets
• TensorFlow Quantum: Hybrid Quantum-classical Machine Learning *
  • Basic concepts of quantum computing
    • Quantum bit
    • Quantum logic gate
    • Quantum circuit
    • Example: Create a simple circuit circuit using Cirq
  • Hybrid Quantum - Classical Machine Learning
    • Quantum datasets and quantum gates with parameters
    • Parametric quantum circuit (PQC)
    • Embedding parametric quantum circuits into machine learning models
    • Example: binary classification of quantum datasets

Indices and tables

• 索引

• 模块索引

• 搜索页面