之前的策略优化，用的基本都是$\epsilon$-greedy的policy improve方法，这里介绍policy gradient法，不基于v、q函数

1. introduction

策略梯度是以$P(a|s)$入手，概率$\pi(s,a)$的形式，同样是model free的

调整策略的概率分布，寻找最优策略$\pi_*$

特点

• 优点：
• 更好收敛性
• 高维、连续动作空间高效
• 从随机策略中学习
• 缺点：
  • 会限于局部最优，而不是全局最优
  • 评价策略的过程：低效、高方差
• 随机策略有时是最优策略，基于价值函数的策略有时会限于局部最优

Policy Objective function 策略目标函数

对于不同的任务，需要建立针对性的3种目标函数

• 1.Start Value：任务有始有终

• 2.Average Value：连续任务，不停止。对所有状态求平均，d是状态s在策略$\pi\theta$下的分布函数。根据V值求P

• 3.Average reward per time-step：连续任务，不停止。d是状态s在策略$\pi\theta$下的分布函数。根据R值求P

• Objective：优化目标函数 find $\theta$ 最大化 $J(\theta)$

2. Finite Difference PG 有限差分策略梯度

对每个维度的权重，分别进行查分求梯度，然后迭代权重，至最优

特点：

• n次运算，求得n维的梯度
• 简单、噪声、偶尔高效
• 通用性好，任意策略可用，即使策略目标函数不可微

3. MC PG 蒙特卡洛策略梯度

要求：策略目标函数可微分，梯度可计算 引入了似然比概念

Likelihood ratios

Score function（not value function）

• Trick here： 用似然比 Likelihood ratios 将$\pi$梯度，变为$\pi$ 乘以 log 的梯度 函数在某个变量θ处的梯度等于该处函数值与该函数的对数函数在此处梯度的乘积 $d log(y) = dy/y$，默认底数为$e$

• Score function: $\nabla_{\theta} \log \pi_{\theta}(s, a)$

Softmax policy：策略概率按照指数分配

线性组合 -> softmax = $\pi$ 是状态s下，采取每个a的概率

通过取对数，拆分为加法，进而表示为

Gaussian polisy：策略概率按照距离分配

• In continuous action spaces, a Gaussian policy is natural
• Mean is a linear combination of state features $μ(s) = φ(s)^{T}θ$
• Variance may be fixed σ , or can also parametrised Policy is Gaussian, a ∼ N (μ(s), σ2)
• The score function is

在实际应用中，要注意梯度消失现象，可以利用代数方法求解

Policy Gradient theorem 策略梯度定理

One-step MDPs

没有序列，整个任务过程只有一步

• 状态s~d(s)
• r = R_{s,a}

用似然比，计算策略梯度： 先给出奖励函数，三种形式一样如下：

\begin{aligned} \nabla_{\theta} J(\theta) &=\sum_{s \in \mathcal{S}} d(s) \sum_{a \in \mathcal{A}} \pi_{\theta}(s, a) \nabla_{\theta} \log \pi_{\theta}(s, a) \mathcal{R}{s, a} \ &=\mathbb{E}{\pi_{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) r\right] \end{aligned}

\nabla_{\theta} J(\theta)=\mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) Q^{\pi_{\theta}}(s, a)\right]

Q_W(s,a) \approx Q^{\pi \theta}(s,a)

\begin{aligned} \nabla_{\theta} J(\theta) & \approx \mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) Q_{w}(s, a)\right] \ \Delta \theta &=\alpha \nabla_{\theta} \log \pi_{\theta}(s, a) Q_{w}(s, a) \end{aligned}

\nabla_{w} Q_{w}(s, a)=\nabla_{\theta} \log \pi_{\theta}(s, a)

\varepsilon=\mathbb{E}{\pi{\theta}}\left[\left(Q^{\pi_{\theta}}(s, a)-Q_{w}(s, a)\right)^{2}\right]

\nabla_{\theta} J(\theta)=\mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) Q_{w}(s, a)\right]

\nabla_{\theta}^{\text {nat}} \pi_{\theta}(s, a)=G_{\theta}^{-1} \nabla_{\theta} \pi_{\theta}(s, a)

G_{\theta}=\mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) \nabla_{\theta} \log \pi_{\theta}(s, a)^{T}\right]

\nabla_{w} A_{w}(s, a)=\nabla_{\theta} \log \pi_{\theta}(s, a)

\begin{aligned} \nabla_{\theta} J(\theta) &=\mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) A^{\pi_{\theta}}(s, a)\right] \ &=\mathbb{E}{\pi{\theta}}\left[\nabla_{\theta} \log \pi_{\theta}(s, a) \nabla_{\theta} \log \pi_{\theta}(s, a)^{T} w\right] \ &=G_{\theta} w \ \nabla_{\theta}^{n a t} J(\theta) &=w \end{aligned}