論文の概要: Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach

• arxiv url: http://arxiv.org/abs/2605.30903v1
• Date: Fri, 29 May 2026 06:38:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.427778
• Title: Inverse Reinforcement Learning without an Optimal Demonstrator: A Feasible Reward Set Approach
• Title（参考訳）: 最適復調器を使わずに逆強化学習を実践する一提案
• Abstract要約: 逆強化学習(IRL)は典型的には、一つの最適な実証者からのデモンストレーションを前提としている。 我々は、この環境での報酬学習を、実現可能なリワードセットの枠組みを通して研究する。
• 参考スコア（独自算出の注目度）: 7.857217531314837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse reinforcement learning (IRL) typically assumes demonstrations from a single optimal demonstrator, but in many applications data come from multiple imperfect demonstrators with heterogeneous suboptimality levels. We study reward learning in this setting through a feasible-reward-set framework: for each demonstrator, we encode its declared suboptimality level as a linear constraint and intersect the resulting feasible sets across demonstrators. Our theoretical analysis shows that the joint feasible set shrinks monotonically as data are added, and we give an exact characterization of when a new demonstrator strictly tightens it. We further establish two recovery guarantees for the feasible reward set of the ground-truth optimal demonstrator: one bound depends on closeness to the optimal occupancy, while the other requires only sufficient coverage and no near-optimal demonstrator. On the practical side, we introduce strategies to address the inherent reward ambiguity in the obtained reward set and provide an offline algorithm with function approximation for high-dimensional environments. Experiments in tabular grid-world and large language model (LLM) fine-tuning settings are consistent with the theoretical predictions and demonstrate the effectiveness of the proposed framework over baselines.
• Abstract（参考訳）: 逆強化学習(IRL)は、典型的には一つの最適なデモストレータからのデモンストレーションを前提としているが、多くのアプリケーションでは、不完全な複数のデモストレータから得られる不均一な準最適レベルから得られるデータが多い。 実証者それぞれに対して、宣言された準最適度レベルを線形制約としてエンコードし、実証者間で実現可能なセットを解釈する。 我々の理論的分析は、データの追加に伴って結合可能な集合が単調に収縮し、新しいデモンストレータがそれを厳格に締め付けるときの正確な特徴を与える。 さらに,2つのリカバリ保証を確立させる。一方は最適占有率に近づき,他方は十分なカバレッジしか必要とせず,他方は準最適実証器を必要としない。 実用面では,得られた報酬集合の固有報酬あいまいさに対処する戦略を導入し,高次元環境に対する関数近似を用いたオフラインアルゴリズムを提案する。 表付きグリッドワールドおよび大規模言語モデル(LLM)の微調整設定実験は,理論的予測と一致し,ベースライン上でのフレームワークの有効性を実証する。

関連論文リスト

• Rethinking the Good Enough Embedding for Easy Few-Shot Learning [4.941630596191806]
  本稿では,Platonic Representation hypothesisを利用して,既製の埋め込みが本質的に複雑なタスクに対して「十分良い」ことを実証する。 凍結したDINOv2-L特徴に対するk-Nearest Neighborの利用により,最適特徴抽出の階層的特徴付けを行う。 4つの主要なベンチマークで得られた結果は、我々のアプローチが洗練されたメタ学習アルゴリズムを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-13T21:52:05Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• SetPO: Set-Level Policy Optimization for Diversity-Preserving LLM Reasoning [50.93295951454092]
  本稿では,カーネル化類似性を用いたサンプル軌道上で定義された設定レベル多様性の目的について紹介する。 提案手法は,各サンプル軌跡に対する余剰余剰貢献を導出し,この目的を政策最適化のためのプラグイン・アドバンテージ・シェーピング用語として統合する。 様々なモデルスケールで実験を行い、提案アルゴリズムの有効性を示し、様々なベンチマークでPass@1とPass@Kの双方において、強いベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-02-01T07:13:20Z)
• Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning [0.0]
  そこで我々は,人間の嗜好を潜在ベクトル値報酬関数としてモデル化する,嗜好に基づく多目的逆強化学習(MO-IRL)の理論的枠組みを提案する。 本研究は,実践的アライメント技術と理論的保証のギャップを埋め,アライメント行動の学習の原則的基盤を提供するものである。
  論文  参考訳（メタデータ） (2025-05-17T06:09:13Z)
• Supervised Optimism Correction: Be Confident When LLMs Are Sure [91.7459076316849]
  教師付き微調整とオフライン強化学習の間には,新たな理論的関係が確立されている。 広く使われているビームサーチ法は、許容できない過度な最適化に悩まされていることを示す。 本稿では,トークンレベル$Q$-value推定のための簡易かつ効果的な補助的損失を導入したSupervised Optimism Correctionを提案する。
  論文  参考訳（メタデータ） (2025-04-10T07:50:03Z)
• Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques [65.55451717632317]
  PbMARL(Preference-based Multi-Agent Reinforcement Learning)について検討する。 一般ゲームにおける嗜好のみのオフラインデータセットからナッシュ平衡を同定する。 以上の結果から,PbMARLの多面的アプローチが示唆された。
  論文  参考訳（メタデータ） (2024-09-01T13:14:41Z)
• Inverse Reinforcement Learning by Estimating Expertise of Demonstrators [15.662820454886205]
  IRLEED(Inverse Reinforcement Learning by Estimating Expertise of Demonstrators)は、実証者の専門知識の事前知識なしにハードルを克服する新しいフレームワークである。 IRLEEDは既存の逆強化学習(IRL)アルゴリズムを強化し、報酬バイアスと行動分散に対処するために、実証者準最適性のための一般的なモデルを組み合わせる。 オンラインおよびオフラインのIL設定、シミュレーションと人為的なデータによる実験は、IRLEEDの適応性と有効性を示している。
  論文  参考訳（メタデータ） (2024-02-02T20:21:09Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations [1.0609815608017066]
  本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。 既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。 ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-12-28T05:47:24Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)
• Inverse Reinforcement Learning via Matching of Optimality Profiles [2.561053769852449]
  準最適あるいは不均一な性能の実証から報酬関数を学習するアルゴリズムを提案する。 提案手法は,報酬関数を最適化するためのポリシーが,報酬関数の適合に使用する実演よりも優れるような報酬関数を学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-18T13:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。