論文の概要: The Value-Improvement Path: Towards Better Representations for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2006.02243v2
• Date: Mon, 4 Jan 2021 12:32:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 17:29:00.818677
• Title: The Value-Improvement Path: Towards Better Representations for Reinforcement Learning
• Title（参考訳）: 価値改善パス:強化学習のためのより良い表現を目指して
• Authors: Will Dabney, Andr\'e Barreto, Mark Rowland, Robert Dadashi, John Quan, Marc G. Bellemare, David Silver
• Abstract要約: 我々は、RLエージェントが直面する値予測問題は、独立して対処すべきではなく、単一の、全体論的、予測問題として扱うべきだと論じる。 RLアルゴリズムは、少なくとも概ね最適なポリシーに向けて改善される一連のポリシーを生成する。 我々は、過去の価値改善パスにまたがる表現が、将来の政策改善に正確な価値評価をもたらすことを実証する。
• 参考スコア（独自算出の注目度）: 46.70945548475075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In value-based reinforcement learning (RL), unlike in supervised learning, the agent faces not a single, stationary, approximation problem, but a sequence of value prediction problems. Each time the policy improves, the nature of the problem changes, shifting both the distribution of states and their values. In this paper we take a novel perspective, arguing that the value prediction problems faced by an RL agent should not be addressed in isolation, but rather as a single, holistic, prediction problem. An RL algorithm generates a sequence of policies that, at least approximately, improve towards the optimal policy. We explicitly characterize the associated sequence of value functions and call it the value-improvement path. Our main idea is to approximate the value-improvement path holistically, rather than to solely track the value function of the current policy. Specifically, we discuss the impact that this holistic view of RL has on representation learning. We demonstrate that a representation that spans the past value-improvement path will also provide an accurate value approximation for future policy improvements. We use this insight to better understand existing approaches to auxiliary tasks and to propose new ones. To test our hypothesis empirically, we augmented a standard deep RL agent with an auxiliary task of learning the value-improvement path. In a study of Atari 2600 games, the augmented agent achieved approximately double the mean and median performance of the baseline agent.
• Abstract（参考訳）: 値に基づく強化学習(RL)では、教師付き学習とは異なり、エージェントは単一の定常近似問題ではなく、一連の値予測問題に直面している。 政策が改善するたびに、問題の性質が変化し、状態の分布と値の両方が変化する。 本稿では,rlエージェントが直面する価値予測問題は,単独でではなく,単独で総括的な予測問題として扱うべきである,という新たな視点を取り上げる。 RLアルゴリズムは、少なくとも概ね最適なポリシーに向けて改善される一連のポリシーを生成する。 我々は、関連する値関数のシーケンスを明示的に特徴付け、それを値改善パスと呼ぶ。 当社の主なアイデアは,現在のポリシの価値関数のみを追跡するよりも,価値改善パスを階層的に近似することにあります。 具体的には,RLの全体観が表現学習に与える影響について論じる。 我々は、過去の価値改善パスにまたがる表現が、将来の政策改善に正確な価値近似をもたらすことを実証する。 この洞察は、既存の補助的なタスクのアプローチをよりよく理解し、新しいタスクを提案するのに役立ちます。 仮説を実証的に検証するために、我々は、値改善パスを学習する補助的なタスクで標準深度RLエージェントを拡張した。 Atari 2600ゲームの研究において、補助エージェントはベースラインエージェントの平均と中央値の約2倍の性能を達成した。

関連論文リスト

• Policy Gradient with Active Importance Sampling [55.112959067035916]
  政策勾配法(PG法)はISの利点を大いに生かし、以前に収集したサンプルを効果的に再利用することができる。 しかし、ISは歴史的サンプルを再重み付けするための受動的ツールとしてRLに採用されている。 我々は、政策勾配のばらつきを減らすために、サンプルを収集する最良の行動ポリシーを模索する。
  論文  参考訳（メタデータ） (2024-05-09T09:08:09Z)
• Seizing Serendipity: Exploiting the Value of Past Success in Off-Policy Actor-Critic [42.57662196581823]
  高品質な$Q$値関数の学習は、多くの現代のオフポリシーディープ強化学習(RL)アルゴリズムの成功に重要な役割を果たしている。 一般的な視点から考えると、RLトレーニングプロセスの後半段階では、$Q$-valueが過小評価されることが多い。 本稿では,Blended Exploitation and Exploration (BEE)演算子を提案する。
  論文  参考訳（メタデータ） (2023-06-05T13:38:14Z)
• Human-in-the-loop: Provably Efficient Preference-based Reinforcement Learning with General Function Approximation [107.54516740713969]
  本研究は,RL(Human-in-the-loop reinforcement learning)を軌道的嗜好で検討する。 各ステップで数値的な報酬を受ける代わりに、エージェントは人間の監督者から軌道上のペアよりも優先される。 一般関数近似を用いたPbRLの楽観的モデルベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:03:24Z)
• Chaining Value Functions for Off-Policy Learning [22.54793586116019]
  本稿では,建設によって収束する非政治予測アルゴリズムの新たなファミリについて論じる。 提案手法は収束し、逆鍵行列の反復分解に対応することを証明した。 Baird氏の例のようなMDPに挑戦するアイデアを実証的に評価し,好意的な結果が得られた。
  論文  参考訳（メタデータ） (2022-01-17T15:26:47Z)
• Dealing with the Unknown: Pessimistic Offline Reinforcement Learning [25.30634466168587]
  本稿では, PessORLアルゴリズムを用いて, エージェントを慣れ親しんだ領域に積極的に誘導する手法を提案する。 我々は、アウト・オブ・ディストリビューション(OOD)状態に起因する問題に注目し、トレーニングデータセットに欠けている状態において、意図的に高い価値をペナルティ化する。
  論文  参考訳（メタデータ） (2021-11-09T22:38:58Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction [96.90215318875859]
  ブートストラップに基づくQ-ラーニングアルゴリズムは必ずしも修正フィードバックの恩恵を受けないことを示す。 本稿では,この最適分布に対する近似を計算し,トレーニングに使用する遷移の重み付けに使用する新しいアルゴリズムであるDisCorを提案する。
  論文  参考訳（メタデータ） (2020-03-16T16:18:52Z)
• Value-driven Hindsight Modelling [68.658900923595]
  値推定は強化学習(RL)パラダイムの重要な構成要素である。 モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。 この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。 これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
  論文  参考訳（メタデータ） (2020-02-19T18:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。