論文の概要: Bootstrapped Representations in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2306.10171v1
• Date: Fri, 16 Jun 2023 20:14:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 23:55:03.323984
• Title: Bootstrapped Representations in Reinforcement Learning
• Title（参考訳）: 強化学習におけるブートストラップ表現
• Authors: Charline Le Lan, Stephen Tu, Mark Rowland, Anna Harutyunyan, Rishabh Agarwal, Marc G. Bellemare, Will Dabney
• Abstract要約: 強化学習(RL)では、状態表現は大きな状態空間や連続状態空間を扱うための鍵となる。 時間差分学習により学習した状態表現の理論的特徴について述べる。 政策評価におけるこれらの表現の有効性について述べるとともに,理論解析を用いて新しい補助学習ルールを設計する。
• 参考スコア（独自算出の注目度）: 44.49675960752777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In reinforcement learning (RL), state representations are key to dealing with large or continuous state spaces. While one of the promises of deep learning algorithms is to automatically construct features well-tuned for the task they try to solve, such a representation might not emerge from end-to-end training of deep RL agents. To mitigate this issue, auxiliary objectives are often incorporated into the learning process and help shape the learnt state representation. Bootstrapping methods are today's method of choice to make these additional predictions. Yet, it is unclear which features these algorithms capture and how they relate to those from other auxiliary-task-based approaches. In this paper, we address this gap and provide a theoretical characterization of the state representation learnt by temporal difference learning (Sutton, 1988). Surprisingly, we find that this representation differs from the features learned by Monte Carlo and residual gradient algorithms for most transition structures of the environment in the policy evaluation setting. We describe the efficacy of these representations for policy evaluation, and use our theoretical analysis to design new auxiliary learning rules. We complement our theoretical results with an empirical comparison of these learning rules for different cumulant functions on classic domains such as the four-room domain (Sutton et al, 1999) and Mountain Car (Moore, 1990).
• Abstract（参考訳）: 強化学習(RL)では、状態表現は大きな状態空間や連続状態空間を扱うための鍵となる。 ディープラーニングアルゴリズムの約束の1つは、解決しようとするタスクのために適切に調整された機能を自動的に構築することであるが、深層RLエージェントのエンドツーエンドトレーニングからそのような表現が現れることはないかもしれない。 この問題を軽減するために、補助的な目的はしばしば学習プロセスに組み込まれ、学習状態の表現を形成するのに役立ちます。 ブートストラップメソッドは、これらの追加の予測を行うための今日の選択方法です。 しかし、これらのアルゴリズムがどの特徴を捉え、他の補助タスクベースのアプローチとどのように関連しているのかは不明だ。 本稿では,このギャップに対処し,時間差学習によって学習される状態表現の理論的特徴付けを行う(sutton,1988)。 驚くべきことに、この表現は、政策評価設定における環境のほとんどの遷移構造についてモンテカルロと残留勾配アルゴリズムによって学習された特徴とは異なる。 政策評価におけるこれらの表現の有効性を説明し,理論解析を用いて新しい補助学習ルールを設計する。 我々は,四室ドメイン (sutton et al, 1999) やマウンテンカー (moore, 1990) といった古典的領域における異なる累積関数に対する学習規則を実証的に比較し,理論結果を補完する。

関連論文リスト

• Bridging State and History Representations: Understanding Self-Predictive RL [24.772140132462468]
  マルコフ決定過程(MDPs)と部分的に観測可能なマルコフ決定過程(POMDPs)のすべての強化学習(RL)手法の中核に表現がある 状態と歴史を抽象化するこれらの明らかに異なる方法やフレームワークの多くは、実際、自己予測的抽象化の共通概念に基づいています。 我々は、自己予測表現の学習において、停止段階技術のような広く採用されている目的と最適化に関する理論的洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-17T00:47:43Z)
• Large Language Models can Implement Policy Iteration [18.424558160071808]
  In-Context Policy Iterationは、基礎モデルを用いてReinforcement Learning(RL)を実行するアルゴリズムである。 ICPIは、専門家によるデモンストレーションやグラデーションなしでRLタスクを実行することを学ぶ。 ICPIは、RL環境との試行錯誤によってポリシーを導出するプロンプトの内容を反復的に更新する。
  論文  参考訳（メタデータ） (2022-10-07T21:18:22Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• State Representation Learning for Goal-Conditioned Reinforcement Learning [9.162936410696407]
  本稿では,報酬のないマルコフ決定過程に対する新しい状態表現を提案する。 自己監督的な方法で、組込み状態のペア間の埋め込み空間は、それらの間の遷移に必要な最小のアクション数に対応する。 我々は、この表現がどのようにしてゴール条件付きポリシーを学ぶことができるかを示す。
  論文  参考訳（メタデータ） (2022-05-04T09:20:09Z)
• Empirical Evaluation and Theoretical Analysis for Representation Learning: A Survey [25.5633960013493]
  表現学習により、データセットからジェネリックな特徴表現を自動的に抽出して、別の機械学習タスクを解決することができます。 近年,表現学習アルゴリズムと単純な予測器によって抽出された特徴表現は,複数の機械学習タスクにおいて最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-04-18T09:18:47Z)
• How Fine-Tuning Allows for Effective Meta-Learning [50.17896588738377]
  MAMLライクなアルゴリズムから派生した表現を解析するための理論的フレームワークを提案する。 我々は,勾配降下による微調整により得られる最良予測器のリスク境界を提示し,アルゴリズムが共有構造を有効活用できることを実証する。 この分離の結果、マイニングベースのメソッド、例えばmamlは、少数ショット学習における"frozen representation"目標を持つメソッドよりも優れている。
  論文  参考訳（メタデータ） (2021-05-05T17:56:00Z)
• Metrics and continuity in reinforcement learning [34.10996560464196]
  メトリクスのレンズを通してトポロジを定義するために統一的な定式化を導入する。 我々はこれらの指標の階層を確立し、マルコフ決定過程にその理論的意味を実証する。 考察した指標間の差異を示す実証的な評価で理論結果を補完する。
  論文  参考訳（メタデータ） (2021-02-02T14:30:41Z)
• Reinforcement Learning as Iterative and Amortised Inference [62.997667081978825]
  我々は、この制御を推論フレームワークとして使用し、償却および反復推論に基づく新しい分類スキームを概説する。 この観点から、比較的探索されていないアルゴリズム設計空間の一部を特定できることを示す。
  論文  参考訳（メタデータ） (2020-06-13T16:10:03Z)
• Hierarchical Variational Imitation Learning of Control Programs [131.7671843857375]
  パラメータ化された階層的手順(PHP)で表される制御ポリシーの模倣学習のための変分推論手法を提案する。 本手法は, 教師による実演の観察・行動トレースのデータセットにおける階層構造を, 手続き呼び出しや用語の待ち行列に近似した後続分布を学習することによって発見する。 階層的模倣学習(hierarchical mimicion learning)の文脈における変分推論の新たな利点を実証する。
  論文  参考訳（メタデータ） (2019-12-29T08:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。