From f754e98461acea2526add8a6590bcb15f83f4d16 Mon Sep 17 00:00:00 2001
From: Johnny He <269401927@qq.com>
Date: Wed, 7 Nov 2018 22:08:09 +0800
Subject: [PATCH] Update readme.md

---
 readme.md | 13 ++++++++++++-
 1 file changed, 12 insertions(+), 1 deletion(-)

diff --git a/readme.md b/readme.md
index 9c2604b..d5e9bfe 100644
--- a/readme.md
+++ b/readme.md
@@ -4,7 +4,11 @@ In the future, more algorithms will be added and the existing codes will also be
 
 ## DQN
 
-包含两个算法
+包含两个实现, SARSA实现和Q-learning实现。
+
+SARSA是on-policy实现，因为没有历史经验。
+
+Q-learning是off-policy实现，因为使用了历史经验。
 
 ## Policy Gradient
 
@@ -37,4 +41,11 @@ pytorch_MountainCar-v0.py
 
 ## Actor-Critic
 
+这是一个算法框架，Actor-Critic下面存放的是经典的REINFORCE 方法。
 ## 
+
+## TO DO
+- DDPG
+- ACER
+- A2C
+- DPPO