論文の概要: From Past to Future: Rethinking Eligibility Traces

• arxiv url: http://arxiv.org/abs/2312.12972v1
• Date: Wed, 20 Dec 2023 12:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 15:37:51.154377
• Title: From Past to Future: Rethinking Eligibility Traces
• Title（参考訳）: 過去から未来へ: 適性トレースを再考する
• Authors: Dhawal Gupta, Scott M. Jordan, Shreyas Chaudhari, Bo Liu, Philip S. Thomas, Bruno Castro da Silva
• Abstract要約: 本稿では,新しい値関数の概念について考察する。 我々は,この値関数を学習するために,原則的更新方程式を導出し,実験を通じて,政策評価のプロセスを強化する効果を実証した。
• 参考スコア（独自算出の注目度）: 21.737721213359183
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a fresh perspective on the challenges of credit assignment and policy evaluation. First, we delve into the nuances of eligibility traces and explore instances where their updates may result in unexpected credit assignment to preceding states. From this investigation emerges the concept of a novel value function, which we refer to as the \emph{bidirectional value function}. Unlike traditional state value functions, bidirectional value functions account for both future expected returns (rewards anticipated from the current state onward) and past expected returns (cumulative rewards from the episode's start to the present). We derive principled update equations to learn this value function and, through experimentation, demonstrate its efficacy in enhancing the process of policy evaluation. In particular, our results indicate that the proposed learning approach can, in certain challenging contexts, perform policy evaluation more rapidly than TD($\lambda$) -- a method that learns forward value functions, $v^\pi$, \emph{directly}. Overall, our findings present a new perspective on eligibility traces and potential advantages associated with the novel value function it inspires, especially for policy evaluation.
• Abstract（参考訳）: 本稿では,信用割当と政策評価の課題に対する新たな視点を紹介する。 第一に、我々は適格トレースのニュアンスを調べ、それらの更新が前の州に予期せぬ信用割り当てをもたらす可能性のあるインスタンスを探索する。 この研究から、新しい値関数の概念が生まれ、これは \emph{bidirectional value function} と呼ばれる。 従来の状態値関数とは異なり、双方向の値関数は将来の期待値(現在の状態から予測される値)と過去の期待値(エピソード開始から現在までの累積報酬)の両方を担っている。 この価値関数を学習するために原理的な更新方程式を導出し、実験を通じて、政策評価のプロセスを強化する効果を示す。 特に,提案手法は,いくつかの難解な文脈において,前方値関数,$v^\pi$, \emph{directly} を学習する手法である td($\lambda$) よりも高速に政策評価を行うことができることを示す。 総じて,本研究は,特に政策評価において,新たな価値関数を刺激する可能性や可能性について,新たな視点を提示する。

関連論文リスト

• Leveraging Prior Knowledge in Reinforcement Learning via Double-Sided Bounds on the Value Function [4.48890356952206]
  本稿では、値関数の任意の近似を用いて、関心の最適値関数上の二辺境界を導出する方法を示す。 連続状態とアクション空間のエラー解析でフレームワークを拡張します。
  論文  参考訳（メタデータ） (2023-02-19T21:47:24Z)
• A Generalized Bootstrap Target for Value-Learning, Efficiently Combining Value and Feature Predictions [39.17511693008055]
  値関数の推定は強化学習アルゴリズムのコアコンポーネントである。 値関数を推定する際に使用されるターゲットのブートストラップに焦点を当てる。 新たなバックアップターゲットである$eta$-returnmixを提案する。
  論文  参考訳（メタデータ） (2022-01-05T21:54:55Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Direct Advantage Estimation [63.52264764099532]
  予測されるリターンは、学習を遅くする可能性のある望ましくない方法でポリシーに依存する可能性があることを示します。 本稿では,優位関数をモデル化し,データから直接推定する手法として,DAE(Direct Advantage Estimation)を提案する。 望むなら、値関数をDAEにシームレスに統合して、時間差学習と同様の方法で更新することもできる。
  論文  参考訳（メタデータ） (2021-09-13T16:09:31Z)
• Taylor Expansion of Discount Factors [56.46324239692532]
  実効強化学習(RL)では、値関数を推定するために使われる割引係数は、評価目的を定義するために使われる値としばしば異なる。 本研究では,この割引要因の相違が学習中に与える影響について検討し,2つの異なる割引要因の値関数を補間する目的のファミリーを発見する。
  論文  参考訳（メタデータ） (2021-06-11T05:02:17Z)
• Counterfactual Credit Assignment in Model-Free Reinforcement Learning [47.79277857377155]
  強化学習における信用割当は、将来の報酬に対する行動の影響を測定する問題である。 我々は因果理論からモデルフリーなRL設定への反事実の概念を適応する。 我々は、将来の条件値関数をベースラインや批評家として使用するポリシーアルゴリズムのファミリーを定式化し、それらが明らかに低分散であることを示す。
  論文  参考訳（メタデータ） (2020-11-18T18:41:44Z)
• Inverse Policy Evaluation for Value-based Sequential Decision-making [10.188967035477217]
  強化学習のための価値に基づく手法は、一般に価値関数から振舞いを導出する方法を欠いている。 本稿では、逆ポリシー評価と近似値反復アルゴリズムを組み合わせることで、値ベース制御の実現可能性を示す。
  論文  参考訳（メタデータ） (2020-08-26T01:31:38Z)
• Learning "What-if" Explanations for Sequential Decision-Making [92.8311073739295]
  実世界の意思決定の解釈可能なパラメータ化を実証行動に基づいて構築することが不可欠である。 そこで我々は,「何」の結果に対する嗜好の観点から,報酬関数をモデル化し,専門家による意思決定の学習的説明を提案する。 本研究は,行動の正確かつ解釈可能な記述を回復する上で,実効的逆強化学習手法であるバッチの有効性を強調した。
  論文  参考訳（メタデータ） (2020-07-02T14:24:17Z)
• Estimating Q(s,s') with Deep Deterministic Dynamics Gradients [25.200259376015744]
  ここでは、値関数の新たな形式である$Q(s, s')$を紹介します。 最適ポリシを導出するために,この値を最大化する次世代予測を学習するフォワードダイナミクスモデルを開発した。
  論文  参考訳（メタデータ） (2020-02-21T19:05:24Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。