Fugu-MT 論文翻訳(概要): An Empirical Comparison of Off-policy Prediction Learning Algorithms in the Four Rooms Environment

論文の概要: An Empirical Comparison of Off-policy Prediction Learning Algorithms in the Four Rooms Environment

arxiv url: http://arxiv.org/abs/2109.05110v1
Date: Fri, 10 Sep 2021 21:15:41 GMT
ステータス: 処理完了
システム内更新日: 2021-09-14 16:04:18.594833
Title: An Empirical Comparison of Off-policy Prediction Learning Algorithms in the Four Rooms Environment
Title（参考訳）: 4室環境におけるオフポリシー予測学習アルゴリズムの実証的比較
Authors: Sina Ghiassian and Richard S. Sutton
Abstract要約: 我々は,11の非政治予測学習アルゴリズムと2つの小さなタスクに対する線形関数近似を経験的に比較した。アルゴリズムの性能は、重要サンプリング比によって引き起こされるばらつきに強く影響される。強調的なTD($lambda$)は、他のアルゴリズムよりもエラーが少ない傾向にあるが、場合によってはよりゆっくりと学習することもある。
参考スコア（独自算出の注目度）: 9.207173776826403
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Many off-policy prediction learning algorithms have been proposed in the past decade, but it remains unclear which algorithms learn faster than others. We empirically compare 11 off-policy prediction learning algorithms with linear function approximation on two small tasks: the Rooms task, and the High Variance Rooms task. The tasks are designed such that learning fast in them is challenging. In the Rooms task, the product of importance sampling ratios can be as large as $2^{14}$ and can sometimes be two. To control the high variance caused by the product of the importance sampling ratios, step size should be set small, which in turn slows down learning. The High Variance Rooms task is more extreme in that the product of the ratios can become as large as $2^{14}\times 25$. This paper builds upon the empirical study of off-policy prediction learning algorithms by Ghiassian and Sutton (2021). We consider the same set of algorithms as theirs and employ the same experimental methodology. The algorithms considered are: Off-policy TD($\lambda$), five Gradient-TD algorithms, two Emphatic-TD algorithms, Tree Backup($\lambda$), Vtrace($\lambda$), and ABTD($\zeta$). We found that the algorithms' performance is highly affected by the variance induced by the importance sampling ratios. The data shows that Tree Backup($\lambda$), Vtrace($\lambda$), and ABTD($\zeta$) are not affected by the high variance as much as other algorithms but they restrict the effective bootstrapping parameter in a way that is too limiting for tasks where high variance is not present. We observed that Emphatic TD($\lambda$) tends to have lower asymptotic error than other algorithms, but might learn more slowly in some cases. We suggest algorithms for practitioners based on their problem of interest, and suggest approaches that can be applied to specific algorithms that might result in substantially improved algorithms.
Abstract（参考訳）: 過去10年間、多くのオフポリシー予測学習アルゴリズムが提案されてきたが、どのアルゴリズムが他のアルゴリズムよりも速く学習するかは不明だ。本研究では,11の非政治予測学習アルゴリズムと2つの小さなタスクであるRoomsタスクとHigh Variance Roomsタスクの線形関数近似を比較した。タスクは、速く学習するように設計されています。ルームタスクでは、重要サンプリング比率の積は2^{14}$で、2つになることもある。重要サンプリング率の積による高いばらつきを制御するためには、ステップサイズを小さくして学習を遅くする必要がある。高分散室の仕事は、比の積が 2^{14}\times 25$ となるという点において、より極端である。本稿では,ghiassian and sutton (2021) によるオフポリシー予測学習アルゴリズムの実証的研究を基礎とする。我々は,同じアルゴリズム群をそれらのものとみなし,同じ実験手法を用いる。考慮されているアルゴリズムは、オフポリシーTD($\lambda$)、5つのグラディエントTDアルゴリズム、2つの強調TDアルゴリズム、ツリーバックアップ($\lambda$)、Vtrace($\lambda$)、ABTD($\zeta$)である。その結果,アルゴリズムの性能は,重要サンプリング比による分散の影響が大きいことがわかった。データは、Tree Backup($\lambda$)、Vtrace($\lambda$)、ABTD($\zeta$)が他のアルゴリズムほど高い分散の影響を受けていないことを示しているが、高い分散が存在しないタスクでは制限されない方法で効果的なブートストラップパラメータを制限する。強調的td($\lambda$)は他のアルゴリズムよりも漸近的誤差が低い傾向があるが、場合によってはよりゆっくりと学習する可能性がある。興味のある問題に基づいた実践者のためのアルゴリズムを提案し,アルゴリズムが大幅に改善される可能性のある特定のアルゴリズムに適用可能なアプローチを提案する。

論文の概要: An Empirical Comparison of Off-policy Prediction Learning Algorithms in the Four Rooms Environment

関連論文リスト