論文の概要: Imitating the Imperfect: Offline-to-Online Robust Imitation Learning from Heterogeneous Demonstrators
- arxiv url: http://arxiv.org/abs/2611.16020v1
- Date: Wed, 11 Nov 2026 21:27:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.27584
- Title: Imitating the Imperfect: Offline-to-Online Robust Imitation Learning from Heterogeneous Demonstrators
- Title(参考訳): 不完全化:不均一なデモからのオフライン対オンラインロバスト模倣学習
- Abstract要約: 不完全なデモ参加者からの模倣学習の挑戦的かつ実践的な設定について研究する。
遅延エキスパートと最適スコーリングに基づく模倣学習(LEOS-IL)を提案する。
我々のアプローチは、高度に異質で低品質な実証体制において、既存のベースラインを一貫して上回ります。
- 参考スコア(独自算出の注目度): 7.395226141345625
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Imitation learning (IL) typically relies on large-scale offline demonstrations collected from multiple human or algorithmic demonstrators. However, most existing approaches assume these demonstrators are homogeneous or near-optimal experts, a convenient but unrealistic assumption in real-world applications. In practice, demonstrations are often collected from heterogeneous demonstrators with unknown and varying levels of expertise, resulting in highly mixed-quality data. In this work, we study a challenging yet practical setting of imitation learning from such heterogeneous imperfect demonstrators. We propose Latent Expertise and Optimality Scoring based Imitation Learning (LEOS-IL), a principled framework that jointly learns (i) a state-action optimality scoring model and (ii) latent expertise levels for each demonstrator from unlabeled suboptimal offline demonstrations. The learned scoring model is then integrated into an online policy optimization procedure, where the agent is trained to maximize estimated optimality scores while its online rollouts are iteratively leveraged to refine the scoring model, thereby mitigating distributional shift during online adaptation. We further provide theoretical guarantees for optimality score identification and conditional optimal occupancy and policy recovery under explicit sufficient conditions. Experiments on continuous control benchmarks demonstrate that our approach consistently outperforms existing baselines across highly heterogeneous and low-quality demonstration regimes.
- Abstract(参考訳): シミュレーション学習(IL)は通常、複数の人間またはアルゴリズムによるデモから収集された大規模なオフラインデモに依存している。
しかし、既存のほとんどのアプローチでは、これらの実証者はホモジニアスまたは準最適の専門家であると仮定しており、現実の応用において便利だが非現実的な仮定である。
実際には、デモはしばしば、未知の様々なレベルの専門知識を持つ異種デモレーターから収集される。
本研究では, 異種不完全実証者による模擬学習の挑戦的かつ実践的な設定について検討する。
協調学習の原理的枠組みであるLatent Expertise and Optimality Scoring based Imitation Learning (LEOS-IL)を提案する。
一 状態作用最適度スコアリングモデル及び方法
(二)未ラベルの準最適オフラインデモから各デモ参加者の専門知識を欠くこと。
そして、学習したスコアリングモデルをオンラインポリシー最適化手順に統合し、エージェントが推定最適度スコアを推定し、そのオンラインロールアウトを反復的に活用してスコアリングモデルを洗練し、オンライン適応中の分散シフトを軽減するように訓練する。
さらに,適切な条件下での最適スコア識別と条件付き最適占有と政策回復の理論的保証も提供する。
連続制御ベンチマークの実験では、我々のアプローチは、高度に異質で低品質な実証体制において、既存のベースラインを一貫して上回ります。
関連論文リスト
- Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach [7.857217531314837]
逆強化学習(IRL)は典型的には、一つの最適な実証者からのデモンストレーションを前提としている。
我々は、この環境での報酬学習を、実現可能なリワードセットの枠組みを通して研究する。
論文 参考訳(メタデータ) (2026-05-29T06:38:10Z) - Curating Demonstrations using Online Experience [52.59275477573012]
また,Demo-SCOREは手作業によるキュレーションを伴わずに,効果的に準最適動作を識別できることが示唆された。
Demo-SCOREは、全てのオリジナルのデモンストレーションで訓練された基本方針と比較して、結果のポリシーにおいて15~35%以上の絶対的な成功率を達成する。
論文 参考訳(メタデータ) (2025-03-05T17:58:16Z) - Inverse Reinforcement Learning by Estimating Expertise of Demonstrators [15.662820454886205]
IRLEED(Inverse Reinforcement Learning by Estimating Expertise of Demonstrators)は、実証者の専門知識の事前知識なしにハードルを克服する新しいフレームワークである。
IRLEEDは既存の逆強化学習(IRL)アルゴリズムを強化し、報酬バイアスと行動分散に対処するために、実証者準最適性のための一般的なモデルを組み合わせる。
オンラインおよびオフラインのIL設定、シミュレーションと人為的なデータによる実験は、IRLEEDの適応性と有効性を示している。
論文 参考訳(メタデータ) (2024-02-02T20:21:09Z) - Skill Disentanglement for Imitation Learning from Suboptimal
Demonstrations [60.241144377865716]
我々は、小さなクリーンな実演セットと大きなノイズセットの両方で、準最適実演の模倣を考える。
本稿では,様々な品質のアクションプリミティブを異なるスキルに符号化し,サブデモレーションレベルの評価と模倣を行う手法を提案する。
論文 参考訳(メタデータ) (2023-06-13T17:24:37Z) - Unlabeled Imperfect Demonstrations in Adversarial Imitation Learning [48.595574101874575]
現実の世界では、専門家によるデモは不完全である可能性が高い。
正のラベル付き対逆模倣学習アルゴリズムを開発した。
エージェントポリシーは、差別者を騙し、これらの最適な専門家のデモと同様の軌道を生成するように最適化される。
論文 参考訳(メタデータ) (2023-02-13T11:26:44Z) - Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。
本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。
いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-07-14T18:18:02Z) - Imitation Learning by Estimating Expertise of Demonstrators [92.20185160311036]
実証的知識よりも教師なし学習が模倣学習アルゴリズムの性能を一貫した向上に繋がることを示す。
デモ参加者の学習した方針や専門知識に基づいて,共同モデルを開発・最適化する。
本研究は,ミニグリッドやチェスなど,ロブミミックや離散環境からの実ロボット的連続制御タスクについて述べる。
論文 参考訳(メタデータ) (2022-02-02T21:23:19Z) - Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations
using Generative Models [18.195406135434503]
本稿では,報酬関数を状態と行動に依存したポテンシャルに形成することにより,強化と模倣学習を組み合わせた手法を提案する。
このことは,まず探索する価値のある状態空間と行動空間の高価値領域を指定することで,政策学習を加速させることを示す。
特に、これらのポテンシャルを表現するために、正規化フローとジェネレーティブ・アドバイサル・ネットワークの両方について検討する。
論文 参考訳(メタデータ) (2020-11-02T20:32:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。