选用的强化学习的仿真环境为OpenAI的gym：
GitHub - openai/gym: A toolkit for developing and comparing reinforcement learning algorithms.
1 选用gym的原因
1.gym是openai开发的通用强化学习算法测试平台
2.学会了gym，便可开始学习使用openai的其他开源强化学习软件
3.gym 本身集成许多仿真环境，如经典控制中的车摆环境，小车爬山环境、雅达利游戏、棋盘环境等，利用这些写好的环境，可以学习强化学习算法的基本原理。另外，gym是用python写的，可以和深度学习的开源软件如tensorflow等无缝衔接.
2 gym安装
（1）为了方便管理，先安装Anaconda，下载和安装步骤如下
①下载Anaconda安装包（推荐使用清华镜像来下载），下载地址：
Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
笔者安装的是anaconda3-4.3.0版本
②安装anaconda，下载完成后，安装包在Downloads文件夹下（在终端用Ctrl+Alt+T组合键打开终端），键入cd downloads，然后键入bash anaconda3_4.3.0-linux-x86_64.sh(小技巧，键入bash an 然后按下Tab键，Linux会自动补全后面的名字)
③安装过程会询问是否将路径安装到环境变量中，键入yes，至此anaconda安装完成。你会在目录/home/你的用户名 文件夹下看见Anaconda3。关掉终端，再开一个，这样环境变量才起作用。
（2）利用anaconda创建一个虚拟环境。
Anaconda创建虚拟环境的格式为：
conda create -n gymlab python=3.5
操作完此步之后，会在anaconda3/envs/ 文件夹下多一个gymlab。python3.5就在gymlab下的lib下。
（3）安装gym
先开一个新的终端，然后用命令 source activate gymlab 激活环境，再装gym。
具体步骤如下：
①键入 git clone https://github.com/openai/gym.git,将gym克隆到你的计算机中。如果你的计算机没有安装git,那么可以键入：sudo apt install git ,先安装git。
②cd gym 进入gym文件夹。
③pip install -e ‘.[all]’进行完全安装。等待，这个过程会装一系列的库，装完后可以将gym安装文件的目录写到环境变量中；一种方法是打开 .bashrc 文件，在末尾加入语句：
export PYTHONPATH=你的gym目录：$PYTHONPATH
不出意外的话，就可以享用gym了。
3.一个简单的demo
①开一个终端（ctrl+alt+T）,然后激活用anaconda建立的虚拟环境：source activate gymlab
②运行python：python
③导入gym模块：import gym
④创建一个小车倒立摆模型：env=gym.make('CartPole-v0')
⑤初始化环境：env.reset
⑥刷新当前的环境，并显示：env.render()
通过这六步，可以看到一个小车倒立摆系统。
4.深入剖析gym环境配置
将从demo中的三个重要函数开始讲解。
env=gym.make('CartPole-v0')
env.reset()
env.render()
第一个函数是创建环境，这里先不讲。后两个函数是环境文件都包含的文件。这里以CartPole为例，讲解这两个函数。
Cartpole的环境文件位置：你的gym目录： /gym/envs/classic_control/cartpole.py
该文件定义了一个CartPoleEnv的环境类，该类的成员函数有：seed()、step（）、reset（）和render().
1.1 resert()函数详解
reset()为重新初始化函数，它有甚什么作用？
在强化学习算法中，智能体需要一次次的尝试并积累经验，然后从经验中学到好的动作。每一次尝试我们称之为一条轨迹或一个episode,每次尝试都要到达终止状态。一次尝试结束后，智能体需要从头开始，这就需要智能体具有重新初始化的功能。
reset的源代码如下
def _reset():
self.state=self.np_random.uniform(low=-0.05,high=0.05,size=(4,)) #利用均匀随机分布初始化环境的状态
self.steps_beyound_down=None #设置当前步骤为None
return np.array(self.state) #返回环境的初始化状态1.2 render()函数详解
render函数在这里扮演图像引擎的角色。物理引擎用来模拟环境中物体的运动规律，图像引擎用来显示环境中的物体图像。
下面具体介绍gym如何利用图像引擎来创建图像
直接看源代码
Def _render(self,mode='human',close=Flase):
if close:
...省略，直接看关键代码部分
if self.viewer is Node:
from gym.envs.classic_control import rendering
#这一句导入rendering模块，利用rendering模块中的画图函数进行图形的绘制
#如绘制600*400的窗口函数为
self.viewer=rendering.viewer(screen_width,screen_height)
#其中screen_width=600,screen_height=400
#创建小车的代码
l,r,t,b=-cartwidth/2,cartwidth/2,cartwidth/2,-cartwidth/2
axleoffset=cartwidth/4.0
cart=rendering.FilledPolygon([(1,b),(1,t),(1,r,t),(r,b)]) #填充一个矩形
创建完cart的形状，接下来给cart添加平移属性和旋转属性。将车的位移设置到cart的平移属性中，cart就会根据系统的状态变化左右运动。
具体代码解释上传至github中
GitHub - gxnk/reinforcement-learning-code
