1 DQN 的简单原理

近来我一直在研究强化学习，特别而言，是 DQN 方面的内容。原理方面倒是不复杂，其核心是下面的迭代方程

$$\begin{array}{}Q(S_t,A_t)\leftarrow Q(S_t,A_t)+\alpha [R_{t+1}+\gamma \underset{a}{max}Q(S_{t+1},a)-Q(S_t,A_t)]& \text{(1)}\end{array}$$

Sutton 的书 6.5 章节: Q-Learning: 离散策略TD控制。

平稳状态下，箭头变成等于号，因此

$$\begin{array}{}{R}_{t+1}+\gamma \underset{a}{max}Q(S_{t+1},a)=Q(S_t,A_t)& \text{(2)}\end{array}$$

其中除了 $Q$ 之外的其他变量就构成了一个 Trajectory ($s_t,a_t,r_t,s_{t+1}$)。而 $Q$ 则是我们需要学习的深度模型参数。

2 代码体现

我用了 Tensorflow 的团队出的 tf_agent 这个库来进行 DQN 的模型学习。这里涉及的一个核心类是 DqnAgent。DQN 的核心训练过程实现在 _loss 函数中。

注意 _train 函数只是对 _loss 构建起来的损失函数利用 Tensorflow 的 API 来进行梯度计算而已。关注 DQN 模型需要查看 _loss 函数。

3 理论分析

3.1 场景描述

我在着手研究我的复杂场景的之前我首先针对一个非常简单的问题进行研究。这个简单问题是这样的：假设有 12 个通信节点，有 12 个信道可供选择。初始时刻每个节点的初始选择都是 0。我们定义一个全局的资源调度者，它使用一个 Agent 逐个对每个节点进行信道选择。Agent 观察到的状态包括当前节点的 ID，以及其他所有节点的信道占用状态。那么初始状态下，Agent 看到的状态是：

1

0 | 0 0 0 0 0 0 0 0 0 0 0 0

若 Agent 决定分配信道 5 给节点 0，那么下一个时刻 Agent 观察到的状态变成了

1

1 | 5 0 0 0 0 0 0 0 0 0 0 0

效用的定义也非常简单，如果在某一个步骤 Agent 选择的信道不和别的节点冲突，那么获得效用 16，否则获得 0 效用。显然，若节点做出了

1

1 - 2 - 3 - 4 - 5 - 6 - 7 - 8 - 9 - 10 - 11 - 0

的决策顺序，Agent 可以在一个轮次里面拿到 $16\times 12=192$ 的最大效用。在每个 Episode 中，我们固定运行两个轮次，那么理论上每个 Episode 得到的最大效用应该是 $192\times 2=384$。然而在实际仿真中，模型能够收敛到的水平远远低于这个数字。

3.2 收敛问题

下图展示了在一次训练过程中的总效用变化（没有进行 Discount）

进一步查看 Debug 信息（通过在构建 DqnAgent 时传入 debug_summaries=True 可以在输出的 Tensorboard 数据中显示调试信息）

观察上面的图分析可以看到，尽管误差还比较高，但是实际上 td_error 已经在 0 左右徘徊了。不过波动范围比较大。另一个比较重要的发现是，图 3 (a)中的 $Q(S_t,A_t)-{max}_{a}Q(S_{t+1},a)$ 有逐渐扩大的趋势，这意味着模型不稳定了。

3.3 理论 Return

假设每个 Episode 的长度是无限的，那么对于一个理想策略 $\pi$（即每一步都能拿到 16），其在任何状态下的理论 Return 值都应该是

$$\begin{array}{}Q(S_t,\pi (S_t\left)\right)=\sum _{\tau =t}^{\infty }{\gamma }^{\tau -t}16=\frac{16}{1-\gamma }& \text{(3)}\end{array}$$

若 $\gamma =0.9$，那么任意状态的理论 Return 值都应该是 $160$，也即 $Q(S_t,a^{\ast })=160$。这里 $a^{\ast }$ 代表了最优 Action。类似的，

$$\begin{array}{}Q(S_t,a|a\ne a^{\ast })=0.9Q(S_t,a^{\ast })=160\times 0.9=144.& \text{(4)}\end{array}$$

事实上，由于 DQN 模型看到的只是的 $S_t,A_t,R_t,S_{t+1}$ 组成的 Trajectory，由于外部规则导致的 Step 数量限制对于 Agent 来说是完全无感的。这里的分析对于是否存在 Episode 内部的步骤数量限制的情况都是适用的。