論文の概要: Delayed Reinforcement Learning by Imitation

• arxiv url: http://arxiv.org/abs/2205.05569v1
• Date: Wed, 11 May 2022 15:27:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-12 20:04:58.169638
• Title: Delayed Reinforcement Learning by Imitation
• Title（参考訳）: 模倣による遅延強化学習
• Authors: Pierre Liotet, Davide Maran, Lorenzo Bisi, Marcello Restelli
• Abstract要約: 遅延しない実演から遅延環境での動作方法を学ぶ新しいアルゴリズムを提案する。 各種タスクにおいて,DIDAは顕著なサンプル効率で高い性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 31.932677462399468
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When the agent's observations or interactions are delayed, classic reinforcement learning tools usually fail. In this paper, we propose a simple yet new and efficient solution to this problem. We assume that, in the undelayed environment, an efficient policy is known or can be easily learned, but the task may suffer from delays in practice and we thus want to take them into account. We present a novel algorithm, Delayed Imitation with Dataset Aggregation (DIDA), which builds upon imitation learning methods to learn how to act in a delayed environment from undelayed demonstrations. We provide a theoretical analysis of the approach that will guide the practical design of DIDA. These results are also of general interest in the delayed reinforcement learning literature by providing bounds on the performance between delayed and undelayed tasks, under smoothness conditions. We show empirically that DIDA obtains high performances with a remarkable sample efficiency on a variety of tasks, including robotic locomotion, classic control, and trading.
• Abstract（参考訳）: エージェントの観察や相互作用が遅れると、古典的な強化学習ツールは通常失敗する。 本稿では,この問題に対する単純かつ新しい効率的な解法を提案する。 遅延のない環境では、効率的なポリシーが知られ、容易に学習できると仮定するが、そのタスクは実践上の遅延に悩まされ、それらを考慮に入れたいと考える。 本稿では、遅延しないデモから遅延環境での動作方法を学ぶための模倣学習法に基づく新しいアルゴリズム、Delayed Imitation with Dataset Aggregation (DIDA)を提案する。 本稿では,DIDAの実践設計の指針となるアプローチに関する理論的分析を行う。 これらの結果は,遅延タスクと非遅延タスク間の性能を平滑性条件下で制限することにより,遅延強化学習文献にも一般的に興味を寄せている。 ロボットの移動,古典的制御,取引など,様々なタスクにおいて,DIDAが顕著なサンプル効率で高い性能が得られることを示す。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• "Give Me an Example Like This": Episodic Active Reinforcement Learning from Demonstrations [3.637365301757111]
  専門家デモ(RLED)からの強化学習(Reinforcement Learning from Expert Demonstrations)のような手法は、学習プロセス中のエージェント探索を促進するために外部の専門家によるデモンストレーションを導入します。 学習にとって最も有益な人間のデモのベストセットをどうやって選ぶかが、大きな関心事になります。 本稿では,学習エージェントが軌跡に基づく特徴空間において,専門家による実演を最適化したクエリを生成できるアルゴリズムEARLYを提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:52:21Z)
• Validity Learning on Failures: Mitigating the Distribution Shift in Autonomous Vehicle Planning [2.3558144417896583]
  計画問題は、自律運転フレームワークの基本的な側面を構成する。 この問題に対処するための対策として,失敗に対する妥当性学習,VL(on failure)を提案する。 VL(on failure)は最先端の手法よりも大きなマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:25:18Z)
• Enhancing Q-Learning with Large Language Model Heuristics [0.0]
  大規模言語モデル(LLM)は、単純なタスクでゼロショット学習を達成できるが、推論速度の低下と時折幻覚に悩まされる。 我々は,LLMを幻覚として活用し,強化学習のためのQ関数の学習を支援するフレームワークであるtextbfLLM-guided Q-learningを提案する。
  論文  参考訳（メタデータ） (2024-05-06T10:42:28Z)
• Reinforcement Learning from Delayed Observations via World Models [10.298219828693489]
  強化学習環境では、エージェントはそれらを取るとすぐに行動の効果についてのフィードバックを受ける。 実際には、この仮定は物理的制約のために当てはまらない可能性があり、学習アルゴリズムの性能に大きな影響を及ぼす可能性がある。 本稿では、過去の観測と学習のダイナミクスを統合することに成功している世界モデルを活用して、観測遅延を処理することを提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:18:27Z)
• Robust Analysis of Multi-Task Learning Efficiency: New Benchmarks on Light-Weighed Backbones and Effective Measurement of Multi-Task Learning Challenges by Feature Disentanglement [69.51496713076253]
  本稿では,既存のMTL手法の効率性に焦点をあてる。 バックボーンを小さくしたメソッドの大規模な実験と,MetaGraspNetデータセットを新しいテストグラウンドとして実施する。 また,MTLにおける課題の新規かつ効率的な識別子として,特徴分散尺度を提案する。
  論文  参考訳（メタデータ） (2024-02-05T22:15:55Z)
• Planning for Sample Efficient Imitation Learning [52.44953015011569]
  現在の模倣アルゴリズムは、高い性能と高環境サンプル効率を同時に達成するのに苦労している。 本研究では,環境内サンプルの効率と性能を同時に達成できる計画型模倣学習手法であるEfficientImitateを提案する。 実験結果から,EIは性能と試料効率の両立を図った。
  論文  参考訳（メタデータ） (2022-10-18T05:19:26Z)
• Imitating, Fast and Slow: Robust learning from demonstrations via decision-time planning [96.72185761508668]
  テストタイムでの計画(IMPLANT)は、模倣学習のための新しいメタアルゴリズムである。 IMPLANTは,標準制御環境において,ベンチマーク模倣学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-07T17:16:52Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。