强化学习复习站KNOWLEDGE & PRACTICE
FORM C · WORKED SOLUTIONS

C 卷 · 中文详细解析

逐题说明考什么、怎么想、如何代入,以及容易出错的地方。每题末尾附英文答案要点;简答每个有效得分点 1 分,计算题允许保留正确方法分。

先做题再看解析。标为“进一步理解”的补充不额外计分。

10 questions × 2 points

I. Single-choice questions

20 points

A1. max and argmax [2 points]

先把题目读懂

Left、Right、Wait 的 Q 是 −5、−2、−4,问 max 和 argmax 分别是什么。

第一步该想什么?

把分数当成损失大小来想:少亏 2 比亏 5 好。先找最大的数,再指出对应动作,别把这两个答案对调。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

For actions left, right and wait, Q values are (-5,-2,-4). Which statement is correct?

A. max Q=-2 and argmax Q=right.

B. max Q=right and argmax Q=-2.

C. max Q=-5 and argmax Q=left.

D. All actions maximize Q because all values are negative.

下面跟着题目逐步算

正确答案:A

按大小排序是 -2 > -4 > -5,所以最大价值是 -2,对应动作 right。max 回答“有多好”,argmax 回答“选哪个”。

B 把数值和动作对调;C 把绝对值最大当成数值最大;D 混淆了负回报与无差别。少亏 2 分比亏 5 分好。

A2. The target network [2 points]

先把题目读懂

DQN 为什么让目标网络一段时间内不变?

第一步该想什么?

把当前预测想成正在修改的答案,把训练目标想成参考答案。如果两者同一步都剧烈改变,学习很难追上;延迟同步让参考相对稳定。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Why does DQN hold target-network parameters fixed for several updates?

A. To make the regression targets change more slowly.

B. To eliminate all sampling variance.

C. To turn the environment into a deterministic one.

D. To avoid learning from rewards.

下面跟着题目逐步算

正确答案:A

预测值和目标若随同一组参数每一步一起变化,会使训练追逐不断移动的目标。目标网络延迟同步,让一段训练中的目标相对稳定。

B 不会消除环境与抽样的随机性;C 不改变环境转移;D 目标始终包含即时奖励。目标网络一般不是永远不更新。

A3. An MDP model [2 points]

先把题目读懂

表格 DP 需要知道环境的哪两类一步信息?

第一步该想什么?

先想“我做某动作后会去哪里、得到多少奖励”。知道怎么选动作的策略,不等于知道环境将如何响应。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Which pair of objects describes the one-step environment model needed for tabular dynamic programming?

A. A policy and a learning rate.

B. A replay buffer and a target network.

C. Transition probabilities and the reward distribution (or appropriate expected rewards).

D. A list of greedy actions only.

下面跟着题目逐步算

正确答案:C

DP 的一步备份需要知道:采取动作后可能到哪里,各结果概率多少,以及会收到什么奖励。因此需要转移和奖励的模型。

A 是行为与更新设置;B 是 DQN 的训练工具;D 只是一个动作选择结果,都没有给出完整环境规律。Model-free 不代表没有神经网络,而是学习更新不要求先知道这些转移规律。

A4. Planning in Dyna [2 points]

先把题目读懂

Dyna 的额外规划更新从哪里得到转移数据?

第一步该想什么?

分清重放真实发生过的记录与通过模型想象一次结果。Dyna 的 planning 指后者。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

What supplies the additional transitions used by Dyna planning updates?

A. The terminal-value convention.

B. Only the most recently observed real transition, with no model.

C. A larger discount factor.

D. An environment model that generates simulated experience.

下面跟着题目逐步算

正确答案:D

Dyna 使用真实经验学习价值并更新模型,再从模型生成模拟转移继续更新价值。这样同一份真实数据可以支持更多学习。

A 是价值定义约定;B 缺少模拟模型,不是这里的 planning;C 只是折扣参数。模型可能不准确,因此规划效果受模型误差影响。

A5. Fixed exploration [2 points]

先把题目读懂

固定 ε=0.05 且存在非贪心动作时,违背 GLIE 哪一条要求?

第一步该想什么?

想象训练无限久以后,非最优动作是不是仍会被探索选中。重点检查极限行为,而不是初始表怎样填。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

In a state with a unique greedy action and at least one nongreedy action, a fixed ε=0.05 ε-greedy policy fails which GLIE requirement?

A. A value table must be initialized to zero.

B. The environment must be deterministic.

C. Greediness in the limit.

D. The rewards must be positive.

下面跟着题目逐步算

正确答案:C

固定正 ε 让非贪心动作一直有正概率被选中,所以策略在无限久之后仍保留探索,无法趋向纯贪心。

A、B、D 都不是 GLIE 定义中的条件。GLIE 的两个要求是充分的无限探索,以及极限贪心;它不规定初始价值或奖励符号。

A6. Immediate reward and value [2 points]

先把题目读懂

下一步进入终点并收到 7 分,之后没有奖励,γ=0.1。问走这一步之前的回报。

第一步该想什么?

从当前看,这 7 分是第一笔奖励,不打折。终点价值为零表示“到达之后”没有未来项。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

A terminal transition gives reward 7. There are no later rewards. If γ=0.1, what is the return immediately BEFORE taking this transition?

A. 0

B. 0.7

C. 70

D. 7

下面跟着题目逐步算

正确答案:D

当前时刻接下来收到的第一笔奖励不乘 γ。因此 G=7+γ×0=7。终点价值为零,指到达之后没有未来回报,不是到达这一步的奖励为零。

A 删除了终止奖励;B 错把第一笔奖励也折扣;C 反向放大奖励。

A7. A uniform replay special case [2 points]

先把题目读懂

PER 的所有优先级为正,哪个设置会使抽样重新变为均匀?

第一步该想什么?

看概率公式里“优先程度”的指数。要让每条数据拥有一样的权重,应让不同的正优先级经过运算后都变成同一个数。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

For proportional PER with all pᵢ>0, which setting makes P(i) uniform over N stored transitions?

A. β=1

B. αₚ=0

C. ε-greedy ε=0

D. Learning rate = 1

下面跟着题目逐步算

正确答案:B

P(i)=pᵢ^αₚ / Σⱼpⱼ^αₚ。若 αₚ=0,每个正优先级的零次幂都是 1,概率就变成 1/N。

β 控制重要性权重,不直接改变抽样分布;探索 ε 控制环境里的动作;学习率控制参数移动幅度。四种符号不能混用。

A8. Policy evaluation versus value iteration [2 points]

先把题目读懂

从固定策略评估改为价值迭代,动作层面的运算改变在哪里?

第一步该想什么?

前者遵守给定走法,后者要挑最好的走法。环境随机结果仍要平均,你无法命令随机结果一定取最好那个。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

What replaces the policy-weighted action average when moving from a policy-evaluation backup to a value-iteration backup?

A. An average over episodes.

B. A maximum over actions.

C. A minimum over states.

D. The learning rate.

下面跟着题目逐步算

正确答案:B

策略评估问“按 π 选动作,平均会怎么样”;价值迭代问“现在可选的动作中哪个最好”。所以外层 Σₐπ(a|s) 改为 maxₐ。

环境随机转移的内层期望仍然保留。max 是选择动作,不是把随机下一状态也挑一个最好的。

A 是样本统计;C 改错了优化对象;D 是更新步长,不是 Bellman 最优运算。

A9. Stochastic policies [2 points]

先把题目读懂

石头剪刀布中,对手能调整策略时,随机策略有什么作用?

第一步该想什么?

设你总出石头,对手会怎样应对?随机性的作用是降低可预测性,不是让你每一轮都必胜。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Why can a stochastic policy be useful in rock-paper-scissors against an adaptive opponent?

A. It makes every action win.

B. It removes the need for a state.

C. It can prevent the opponent from exploiting a predictable fixed action.

D. It guarantees a positive reward on every round.

下面跟着题目逐步算

正确答案:C

若始终出石头,对手能一直出布。随机选择可避免每次动作被完全预测;在标准对称石头剪刀布中,均匀混合是典型例子。

A、D 将长期博弈性质误写成每一轮必胜;B 与是否需要状态信息无关。随机策略并不等于训练初期随便乱选,它可以是任务本身需要的最优行为形式。

A10. On-policy control [2 points]

先把题目读懂

已经观察到 S、A、奖励、下一状态 S′、下一动作 A′,普通一步 SARSA 用什么目标?

第一步该想什么?

名字最后那个 A 就是“实际下一动作”。把它圈起来,再在 Q 表查这一个动作;不要自动换成最大动作。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Which target is used by ordinary one-step SARSA after observing (S,A,R,S′,A′)?

A. R+γ maxₐQ(S′,a)

B. R alone for every transition

C. The full return from an unrelated episode

D. R+γQ(S′,A′)

下面跟着题目逐步算

正确答案:D

SARSA 的名字来自 State, Action, Reward, State, Action;最后一个 A′ 就是真实选出的下一动作,不能随意改成价值最高的动作。

A 是 Q-learning;B 仅在终止或 γ=0 等特殊情形成立;C 不使用当前这次转移。On-policy 表示这里学习的是产生后续行为的策略。

5 questions × 5 points

II. Short-answer questions

25 points

B1. DP, MC and TD comparison [5 points]

先把题目读懂

从是否要模型、抽样或完整期望、自举、是否等回合结束、偏差方差五方面比较 DP、MC、TD。

第一步该想什么?

先对同一个未来结果问:规则已知吗?有没有等到全部实际奖励?目标中有没有估计的 V?这样分类比直接背三行缩写更容易。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Compare DP, Monte Carlo and TD(0) in terms of model requirements, sampled versus expected backups, bootstrapping, and whether an entire episode is needed. Explain the usual MC–TD bias/variance trade-off. [5 points]

下面跟着题目逐步算

按五个维度答题(每个维度 1 分)

维度DPMCTD(0)
已知环境模型需要通常不需要通常不需要
备份来源对所有后继求模型期望完整轨迹的样本回报一步转移的样本目标
Bootstrapping有无有
等待回合结束不需要真实回合标准 episodic MC 需要不需要

第五分:偏差与方差

MC 完整回报在固定策略、正确采样条件下是价值的无偏样本,但跨越很多随机步骤,常有较高方差。TD 用当前价值估计接在一步奖励后,通常方差较小,但估计不准会引入自举偏差。

不要写成 MC 的有限样本估计永远等于真值,或 TD 在任何问题上方差都更小。这里描述的是常见取舍。

B2. Policy improvement theorem [5 points]

先把题目读懂

为什么相对真实 vπ 贪心的新策略不会更差?还要区分精确评估后的稳定与一轮近似数字没变化。

第一步该想什么?

原策略价值是几个动作分数的加权平均,最高分不会比平均低。先证明第一步这一点,再理解持续按更好选择行动会怎样;近似值误差则要另外考虑。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Explain why a policy greedy with respect to vπ is no worse than π in a finite discounted MDP. State the one-step comparison, explain the repeated-improvement intuition, and distinguish policy stability from unchanged values after one approximate sweep. [5 points]

下面跟着题目逐步算

把“第一步更好”扩展到全部未来

① 先用 vπ 算 qπ(s,a)。原策略的 vπ(s) 是各动作 qπ 的加权平均。(1 分)

② 贪心动作的值至少等于这个平均,所以 qπ(s,π′(s))≥vπ(s)。(1 分)

③ 将该不等式连续沿 π′ 展开,有限折扣下远期残项趋于零,得到 vπ′≥vπ。(1 分)

④ 这里依赖正确的固定策略价值及相应条件;一个粗糙近似值的贪心动作不保证每一步真实表现都提升。(1 分)

⑤ 精确评估后策略在贪心改进下稳定,表示其价值满足最优性关系;一次近似扫描数字暂时没变,不能单独证明已经最优。(1 分)

B3. Why Q-learning is off-policy [5 points]

先把题目读懂

说明 Q-learning 的行为策略与目标策略,和 SARSA 比较,并解释悬崖附近探索风险的区别。

第一步该想什么?

把“实际如何收集数据”与“目标假设以后如何走”分开。SARSA 把实际探索纳入评价,Q-learning 的最大化目标假定后面贪心。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Explain behaviour and target policies in Q-learning. Contrast its target with SARSA, and explain how exploration can affect their learned behaviour near a costly cliff. [5 points]

下面跟着题目逐步算

每一句一个得分点

① Behaviour policy 是真实收集数据时选动作的规则,可为 ε-greedy。② Target policy 是希望评价或改进的策略,Q-learning 的 max 对应贪心目标。

③ Q-learning 用 r+γmaxₐQ(s′,a),不要求下一步真实执行该最大动作。④ SARSA 用 r+γQ(s′,a′),把真实后续探索动作的后果包含在目标中。

⑤ 若探索时可能跌落悬崖,SARSA 在持续探索下会学到这种风险,可能偏向离悬崖更远的路线;Q-learning 的目标基于后续贪心执行,可能偏向较短路线,但实际探索仍可能失足。

这不是对任何环境的路线保证,而是 on-policy/off-policy 差异的经典解释。关掉探索或改变状态空间后结果可能不同。

B4. Dueling is not Double [5 points]

先把题目读懂

解释 Dueling 的 V/优势两分支与减平均公式,并说明它和 Double DQN 改的是不同位置。

第一步该想什么?

先区分“这地方整体怎样”与“这里选哪个动作更好”。再用给 V 加常数、给所有 A 减同一常数的例子看为什么分解需要约定。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

State the mean-subtracted dueling aggregation formula. Explain the roles of the value and advantage streams, why an aggregation constraint is useful, and how dueling differs from Double DQN. [5 points]

下面跟着题目逐步算
Q(s,a)=V(s)+A(s,a)-\frac{1}{|\mathcal A|}\sum_b A(s,b)

五个得分点

① 正确公式;② V stream 表示状态共享的价值成分;③ A stream 区分各动作相对于状态基准的优劣;④ 直接 V+A 存在分解不唯一:给 V 加常数、给所有 A 减同一常数,Q 不变;中心化规定一种组合方式;⑤ Dueling 改网络结构,Double 改目标计算中的选择与评价,可同时使用。

例如 V=5、原始 A=(2,0),平均 A=1,输出 Q=(6,4)。原始 A 不要求已经零均值。

B5. Function approximation risks [5 points]

先把题目读懂

解释函数近似为什么有用、如何泛化,写线性形式与半梯度更新,并说出共享参数的局限。

第一步该想什么?

把一张每状态一格的表,换成所有状态共用的一套评分系数。先用特征点积算一个预测,再解释改系数为何会同时影响很多状态。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Why is function approximation useful when tabular methods are impractical? Explain generalization, a linear approximation and a semi-gradient value update. Mention a limitation of shared parameters. [5 points]

下面跟着题目逐步算

从一张大表变成一个函数

① 大状态空间或连续状态无法逐个存储和充分访问,所以用有限参数近似价值。② 相似状态通过特征共享信息,可对未访问状态作估计。

\hat v(s,w)=x(s)^T w
w\leftarrow w+\alpha[y-\hat v(s,w)]x(s)

③ 给出线性形式,x 是状态特征、w 是待学权重。④ 更新把目标 y 暂时当常数;若 y=r+γV̂(s′,w) 也依赖 w,却不对目标求导,这称 semi-gradient。

⑤ 共享参数可能导致干扰,或函数类不能表示真实价值;非线性函数近似配合自举和 off-policy 还可能不稳定。

3 questions: 8 + 8 + 9 points

III. Calculation — MDP

25 points

C1. A branching episodic MRP [8 points]

先把题目读懂

A 奖励1后各半去B或C;B 奖励0去C;C 奖励4结束;γ=0.5。要求转移矩阵、路径 A→B→C→T 的回报、真实值,以及从零开始的前三轮。

第一步该想什么?

先从最近终点的 C 倒推到 B,再平均 A 的两个分支。样本只走 B 分支,但真实 A 还可能直接去 C。同步迭代则每轮只传播一层旧估计。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

States are A,B,C,T, with T terminal and γ=0.5. A gives reward 1 and transitions to B or C with probability 0.5 each. B gives reward 0 and moves to C. C gives reward 4 and terminates.

(a) Write the transition matrix and reward vector in order (A,B,C,T). [2]

(b) Compute all returns in the sampled episode A → B → C → T. [2]

(c) Compute the exact values of C, B and A by backward substitution. [2]

(d) Starting at V₀=0, give synchronous V₁,V₂,V₃ for (A,B,C). [2]

下面跟着题目逐步算

读题:A 有两个分支

计算整体现值时两个分支都要考虑;观察到的一条 A→B→C 路径只提供其中一个样本。

(a) 矩阵(2 分)

行ABCTr
A00.50.501
B00100
C00014
T00010

(b) 回报(2 分)

从后往前:G₂=4;G₁=0+0.5×4=2;G₀=1+0.5×2=2。

(c) 真实价值(2 分)

v(C)=4,v(B)=0+0.5×4=2。A 的下一状态一半 B、一半 C,所以 v(A)=1+0.5(0.5×2+0.5×4)=2.5。不同于 (b) 的 2,是因为也可能从 A 直接到 C。

(d) 同步扫描(2 分)

轮数ABC
V₁104
V₂224
V₃2.524

第二轮 A 仍读第一轮的 B=0、C=4,所以 A=1+0.5(0.5×0+0.5×4)=2。两个分支都要考虑,不能只沿 B 分支传播。

C2. Risky action and policy averaging [8 points]

先把题目读懂

S 的 safe 得2结束,bold 得5后各半结束或到L;L 的 quit 得0结束,recover 得−2回S。γ=0.5,旧策略各动作一半。要求评估、改进一次,再判断是否已经最优。

第一步该想什么?

bold 的概率有两层:先选 bold,再随机到 L。写固定策略方程时两层都算;指定 bold 求 Q 时只平均环境结果。注意一次改进后还可能出现新的更好动作。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

γ=0.5. At S, safe gives reward 2 and terminates; bold gives reward 5 and moves to T or L with probability 0.5 each. At L, quit gives reward 0 and terminates; recover gives reward -2 and returns to S. A policy chooses each available action with probability 0.5.

(a) Derive the two Bellman expectation equations. [2]

(b) Solve for vπ(S),vπ(L). [2]

(c) Calculate the four qπ values and a greedy improved policy. [2]

(d) Evaluate the improved policy and determine whether it is already optimal. Justify your answer by checking both actions at L. [2]

下面跟着题目逐步算

两层概率要分清

0.5 选 bold 是策略概率;bold 内部 0.5 到 L 是环境概率。两者都要乘,不能漏掉一个。

(a) 方程(2 分)

v_S=0.5(2)+0.5[5+0.5(0.5v_L)]=3.5+0.125v_L
v_L=0.5(0)+0.5(-2+0.5v_S)=-1+0.25v_S

(b) 解方程(2 分)

代入得 vS=3.5-0.125+0.03125vS,故 (31/32)vS=27/8。

v_S=108/31,\qquad v_L=-4/31

(c) 固定第一步动作(2 分)

Q(S,safe)=2;Q(S,bold)=5+0.25×(-4/31)=154/31;Q(L,quit)=0;Q(L,recover)=-2+0.5×108/31=-8/31。所以选择 bold、quit。

(d) 新策略(2 分)

L 选择 quit,v′_L=0;S 选择 bold,v′_S=5+0.25×0=5。再比较 S: safe=2,bold=5;L: quit=0,recover=-2+0.5×5=0.5。recover 反而更好了,所以该一次改进后的策略尚非最优。

进一步理解(不另计分):继续选择 bold、recover 后,vS=5+0.25vL、vL=-2+0.5vS,解得 (36/7,4/7),这时动作保持贪心。一次改进不一定到最优,还可能要继续迭代。

C3. Value iteration with stochastic outcomes [9 points]

先把题目读懂

S 的 a 得1后各半到S/U,b 得0结束;U 的 c 得2结束,d 得0回S;γ=0.5。要求三轮价值迭代,再精确评估 (a,c) 并验证最优。

第一步该想什么?

每个动作先算奖励加后继期望,之后才 max。每轮把整张旧表放右侧;得到贪心动作后,还需要联立方程才能求其精确长期值。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

γ=0.5. In S, action a gives reward 1 and moves to S or U with probability 0.5 each; action b gives reward 0 and terminates. In U, action c gives reward 2 and terminates; action d gives reward 0 and moves to S.

(a) Write both Bellman optimality backup formulas. [1]

(b) From V₀=(0,0), compute V₁. [2]

(c) Compute V₂. [2]

(d) Compute V₃ and the actions selected in this third backup. [2]

(e) Evaluate the stationary policy (a,c) exactly and check Bellman optimality. [2]

下面跟着题目逐步算

本题不是给随机策略求平均

随机的是环境后继;你仍要从动作之间选最大。先算动作的后继期望,再在动作之间比较。

(a) 最优备份(1 分)

V_{k+1}(S)=\max[1+0.25V_k(S)+0.25V_k(U),0]
V_{k+1}(U)=\max[2,0.5V_k(S)]

(b) 第一轮(2 分)

V₁(S)=max(1,0)=1,V₁(U)=max(2,0)=2。

(c) 第二轮(2 分)

V₂(S)=max(1+0.25×1+0.25×2,0)=1.75;V₂(U)=max(2,0.5)=2。

(d) 第三轮(2 分)

V₃(S)=1+0.25×1.75+0.25×2=1.9375,V₃(U)=max(2,0.875)=2,选 a、c。

(e) 精确值(2 分)

固定 c 后 vU=2,固定 a 后 vS=1+0.25vS+0.5,所以 vS=2。用 (2,2) 检查 S: a=2>b=0,U: c=2>d=1,满足最优性。第三轮的动作已最优,但 V₃(S) 还不等于精确最优值 2。

2 questions × 10 points

IV. Calculation — Learning algorithms

20 points

D1. MC, online TD and one frozen batch sweep [10 points]

先把题目读懂

按顺序观察两回合:A 得1→B 得2→T;A 得2→T。γ=1,TD 初值全零、α=0.5。分别求样本均值 MC、在线 TD 和一次冻结表的批量 TD。

第一步该想什么?

三种方法要开三份草稿。MC 平均完整回报;在线 TD 每条转移马上改表;冻结批量 TD 先用零表算全部误差、按状态平均,再每状态只更新一次。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

Two episodes are observed in this order: (1) A --1→ B --2→ T; (2) A --2→ T. γ=1. For TD use α=0.5 and initial V(A)=V(B)=0. Independent methods reset to their specified initial conditions.

(a) List the return for each visit to A and B. [2]

(b) Compute first-visit sample-mean MC estimates using only these episodes. [2]

(c) Apply online TD(0) in the order the transitions were observed. Show all three updates. [2]

(d) Starting again at zero, perform ONE frozen batch TD sweep: compute TD errors using the initial zero table, average the errors separately for each state, then update each state once using α=0.5. [3]

(e) Explain why the two TD results need not agree. [1]

下面跟着题目逐步算

先读清楚 batch 的具体定义

此题 (d) 特别规定:冻结初始价值、按状态平均 TD error、每个状态只更新一次。不要把它误读为反复训练到收敛。

(a) 完整回报(2 分)

第一回合 A 的回报 1+2=3,B 的回报 2;第二回合 A 的回报 2。记录 A:[3,2],B:[2]。

(b) 样本均值 MC(2 分)

A=(3+2)/2=2.5,B=2。每回合中各状态最多访问一次,首次访问与每次访问在这份数据上相同。

(c) 在线 TD(2 分)

第一转移:A=0+0.5(1+0-0)=0.5。第二转移:B=0+0.5(2-0)=1。第三转移:A=0.5+0.5(2-0.5)=1.25。最终 (1.25,1)。

(d) 冻结批更新(3 分)

初始全零时,A 两条转移的误差为 1 和 2,平均 1.5;B 的误差为 2,平均 2。各自只移动一次:A=0+0.5×1.5=0.75,B=0+0.5×2=1。得到 (0.75,1)。

(e) 更新约定不同(1 分)

在线方法逐次使用变化的表,对 A 更新两次;冻结批方法读取同一初始表,对 A 的误差平均后仅更新一次。因此两个有限更新过程不同,并没有矛盾。

D2. Negative action values [10 points]

先把题目读懂

旧 Q=−3、r=−2、γ=0.5、α=0.2;在线值 (−2,−4,−1),实际 a₁;目标网络 (−3,−1,−2),ε=0.2。比较概率、四种目标及终止更新。

第一步该想什么?

先确定负数里的最大值:−1 比 −2、−4 大。在线最大在 a₃,目标最大在 a₂,这个动作下标差异正是区分 DQN 与 Double 的关键。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

A nonterminal transition has Q(S,A)=-3, r=-2, γ=0.5 and α=0.2. Online next-state Q values (a₁,a₂,a₃) are (-2,-4,-1); the actual next action is a₁. Behaviour is ε-greedy with ε=0.2. Target-network values are (-3,-1,-2). Treat algorithms independently.

(a) Give the ε-greedy action probabilities. [2]

(b) Compute the SARSA target and update. [2]

(c) Compute the Q-learning target and update. [2]

(d) Compute DQN and Double DQN targets, identifying the selected actions. [3]

(e) Recompute the target and tabular update if this transition is terminal. [1]

下面跟着题目逐步算

最大负数是最接近零的数

在线表中 -1 最大,对应 a₃;目标表中 -1 最大,对应 a₂。必须先辨认动作,再代入。

(a) 概率(2 分)

三个动作探索份额均为 0.2/3=1/15。a₃ 还分得 0.8 的利用份额,所以概率 (1/15,1/15,13/15)。

(b) SARSA(2 分)

真实下一动作 a₁ 的值 -2,y=-2+0.5×(-2)=-3。新值 -3+0.2[-3-(-3)]=-3,没有变化,因为误差为零。

(c) Q-learning(2 分)

y=-2+0.5×(-1)=-2.5,新值 -3+0.2(0.5)=-2.9。负数变大也是改善。

(d) 两个深度目标(3 分)

DQN 在目标网络选 a₂,值 -1,得到 -2.5。Double 由在线网络选 a₃,再读目标网络 a₃=-2,得到 -3。不是取绝对值最大的动作。

(e) 终止(1 分)

y=r=-2,新值 -3+0.2[-2-(-3)]=-2.8。终止时所有未来项都去掉。

1 question, 4 subquestions

V. Calculation — Optimal policy

10 points

E1. An optimal continuing action [10 points]

先把题目读懂

S 的 stop 得3结束,wait 每次得1回S;U 的 exit 得2结束,join 得0去S。γ=0.8,旧策略 stop、exit。要求策略评估与改进、最优性检查和两轮价值迭代。

第一步该想什么?

立刻得3不一定比持续每步得1好。先算旧策略;改选循环动作后要把所有未来奖励考虑进去,不能只和“本次1分”比较。

这个前置概念还不懂?从具体例子重新学 →
展开英文原题

γ=0.8. At S, stop gives reward 3 and terminates; wait gives reward 1 and returns to S. At U, exit gives reward 2 and terminates; join gives reward 0 and moves to S. Start with π₀=(stop,exit).

(a) Evaluate π₀. [2]

(b) Calculate all qπ₀ values and find a greedy π₁. [3]

(c) Evaluate π₁ and verify its optimality. [3]

(d) From V₀=0 give V₁ and V₂ under synchronous value iteration. Explain why they do not equal the final values. [2]

下面跟着题目逐步算

核心直觉:持续每步得 1,可能胜过立刻得 3

γ=0.8 时,无限序列 1+0.8+0.8²+…=1/(1-0.8)=5,虽然每一步只有 1 分,长期价值仍可更高。

(a) 初始策略(2 分)

两动作立即终止,vπ₀(S)=3,vπ₀(U)=2。

(b) 动作价值(3 分)

S: stop=3,wait=1+0.8×3=3.4;U: exit=2,join=0.8×3=2.4。新策略 (wait,join)。

(c) 新价值(3 分)

vS=1+0.8vS,得 5;vU=0.8×5=4。重新比较:S 的 stop=3、wait=5;U 的 exit=2、join=4。选择保持不变,满足最优方程,因此 v*=(5,4)。

(d) 有限轮更新(2 分)

V₁=(max(3,1),max(2,0))=(3,2)。V₂=(max(3,1+0.8×3),max(2,0.8×3))=(3.4,2.4)。迭代只从零开始逐轮传播未来价值,有限轮一般未到固定点;得到正确贪心动作也不等于数字已经收敛。