論文の概要: Expert Proximity as Surrogate Rewards for Single Demonstration Imitation Learning

• arxiv url: http://arxiv.org/abs/2402.01057v2
• Date: Thu, 30 May 2024 17:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 23:23:04.012685
• Title: Expert Proximity as Surrogate Rewards for Single Demonstration Imitation Learning
• Title（参考訳）: シングル・デモレーション・イミテーション・ラーニングのためのサロゲート・リワードとしてのエキスパート・プロクシミティ
• Authors: Chia-Cheng Chiang, Li-Cheng Lan, Wei-Fang Sun, Chien Feng, Cho-Jui Hsieh, Chun-Yi Lee,
• Abstract要約: IL(Single-demonstration mimicion Learning)は、複数の専門家による実演の取得がコストのかかる、あるいは実現不可能な実世界のアプリケーションに対して、実践的なアプローチである。 典型的なIL設定とは対照的に、シングルデモレーションILは1つの専門家軌道のみにアクセスするエージェントを含む。 本稿では, この設定におけるスパース報酬信号の問題を強調し, 提案手法であるTransition Discriminator-based IL (TDIL) を用いてこの問題を軽減することを提案する。
• 参考スコア（独自算出の注目度）: 51.972577689963714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we focus on single-demonstration imitation learning (IL), a practical approach for real-world applications where acquiring multiple expert demonstrations is costly or infeasible and the ground truth reward function is not available. In contrast to typical IL settings with multiple demonstrations, single-demonstration IL involves an agent having access to only one expert trajectory. We highlight the issue of sparse reward signals in this setting and propose to mitigate this issue through our proposed Transition Discriminator-based IL (TDIL) method. TDIL is an IRL method designed to address reward sparsity by introducing a denser surrogate reward function that considers environmental dynamics. This surrogate reward function encourages the agent to navigate towards states that are proximal to expert states. In practice, TDIL trains a transition discriminator to differentiate between valid and non-valid transitions in a given environment to compute the surrogate rewards. The experiments demonstrate that TDIL outperforms existing IL approaches and achieves expert-level performance in the single-demonstration IL setting across five widely adopted MuJoCo benchmarks as well as the "Adroit Door" robotic environment.
• Abstract（参考訳）: 本稿では,複数の専門家による実演の獲得にコストがかかるか不可能であり,基礎的真理報酬関数が利用できない実世界のアプリケーションのための実践的アプローチである,単項模擬学習(IL)に焦点を当てる。 複数のデモンストレーションを持つ典型的なIL設定とは対照的に、単一のデモストレーションILは1つの専門家軌道のみにアクセスするエージェントを含む。 本稿では, この設定におけるスパース報酬信号の問題を強調し, 提案手法であるTransition Discriminator-based IL (TDIL) を用いてこの問題を軽減することを提案する。 TDILは、環境力学を考慮したより高密度なサロゲート報酬関数を導入することで、報酬空間に対処するために設計されたIRL手法である。 この代理報酬関数は、エージェントが専門家状態に近い状態に向かうことを促す。 実際には、TDILは、ある環境における有効な遷移と非無効な遷移を区別するために遷移判別器を訓練し、サロゲート報酬を計算する。 実験は、TDILが既存のILアプローチより優れており、広く採用されている5つの MuJoCo ベンチマークと "Adroit Door" ロボット環境のシングルデモ IL設定において、専門家レベルのパフォーマンスを実現していることを示した。

関連論文リスト

• Inverse-RLignment: Inverse Reinforcement Learning from Demonstrations for LLM Alignment [62.05713042908654]
  本稿では,これらの課題を克服するために,高品質な実演データを活用する新しいアプローチであるAlignment from Demonstrations (AfD)を紹介する。 AfDをシーケンシャルな意思決定フレームワークで形式化し、報酬信号の欠如というユニークな課題を強調します。 そこで本研究では,AfD に適した報酬モデル上で補間を行う計算効率のよいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:13:53Z)
• Beyond Joint Demonstrations: Personalized Expert Guidance for Efficient Multi-Agent Reinforcement Learning [54.40927310957792]
  異種チーム内の各エージェントを個別にカスタマイズした、個人化された専門家によるデモンストレーションという新しい概念を導入する。 これらのデモンストレーションは、単独エージェントの行動と、各エージェントが協調的な要素を含まない個人的目標を達成する方法にのみ関係している。 本稿では、個人化された専門家によるデモンストレーションをガイダンスとして選択的に活用し、エージェントが協力することを学ぶためのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-13T20:11:20Z)
• DiffAIL: Diffusion Adversarial Imitation Learning [32.90853955228524]
  模倣学習は、現実世界の意思決定タスクにおける報酬関数の定義問題を解決することを目的としている。 拡散逆模倣学習法(DiffAIL)を提案する。 提案手法は最先端の性能を達成し、2つのベンチマークタスクにおける専門家の実証をはるかに上回っている。
  論文  参考訳（メタデータ） (2023-12-11T12:53:30Z)
• A Simple Solution for Offline Imitation from Observations and Examples with Possibly Incomplete Trajectories [122.11358440078581]
  オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。 本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
  論文  参考訳（メタデータ） (2023-11-02T15:41:09Z)
• Imitator Learning: Achieve Out-of-the-Box Imitation Ability in Variable Environments [45.213059639254475]
  我々は、模倣学習(ItorL)と呼ばれる新しいトピックを提案する。 これは、非常に限られた専門家のデモンストレーションに基づいて模倣ポリシーを再構築できる模倣モジュールを導出することを目的としている。 自律的な模倣ポリシー構築のために、我々は模倣ポリシーのためのデモベースアテンションアーキテクチャを設計する。
  論文  参考訳（メタデータ） (2023-10-09T13:35:28Z)
• Imitation Learning from Observation through Optimal Transport [25.398983671932154]
  イミテーション・ラーニング・オブ・オブ・オブ・オブ・観察(ILfO)は、学習者が専門家の行動を模倣しようとする環境である。 学習モデルや逆学習を必要とせずに、既存の手法を単純化して報酬関数を生成することができることを示す。 我々は,このシンプルな手法が様々な連続制御タスクに対して有効であることを示し,IlfO設定の技法の状態を超越していることを見出した。
  論文  参考訳（メタデータ） (2023-10-02T20:53:20Z)
• Mimicking Better by Matching the Approximate Action Distribution [48.95048003354255]
  そこで我々は,Imitation Learning from Observationsのための新しい,サンプル効率の高いオンライン政治アルゴリズムMAADを紹介する。 我々は、専門家のパフォーマンスを達成するためには、かなり少ないインタラクションが必要であり、現在最先端の政治手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T12:43:47Z)
• Curricular Subgoals for Inverse Reinforcement Learning [21.038691420095525]
  逆強化学習(IRL)は、専門家による実証から報酬関数を再構築し、政策学習を促進することを目的としている。 既存のIRL法は主に、模倣者と専門家の軌跡の違いを最小限に抑えるために、グローバル報酬関数の学習に重点を置いている。 エージェントの模倣を導くために,一タスクを複数の局所的なサブゴールで明示的に切り離す,Curricular Subgoal-based Inverse Reinforcement Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-14T04:06:41Z)
• Sample Efficient Imitation Learning via Reward Function Trained in Advance [2.66512000865131]
  イミテーションラーニング(IL)は、実証から専門家の行動を模倣することを学ぶフレームワークである。 本稿では,逆強化学習の新たな手法を導入することで,サンプル効率の向上に尽力する。
  論文  参考訳（メタデータ） (2021-11-23T08:06:09Z)
• PsiPhi-Learning: Reinforcement Learning with Demonstrations using Successor Features and Inverse Temporal Difference Learning [102.36450942613091]
  時間差学習(ITD)と呼ばれる逆強化学習アルゴリズムを提案する。 Psi Phi$-learningと呼ばれるデモで強化学習のための新しいアルゴリズムに到達し、オンライン環境の相互作用から学習とITDをシームレスに統合する方法を示します。
  論文  参考訳（メタデータ） (2021-02-24T21:12:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。