論文の概要: Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
- arxiv url: http://arxiv.org/abs/2607.08647v1
- Date: Thu, 09 Jul 2026 16:18:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-10 14:45:27.592531
- Title: Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning
- Title（参考訳）: ロバスト・リワード学習のためのマルチモーダル・マルチ環境機械教育
- Abstract要約: 逆強化学習は、人間のフィードバックから目的を推測する原則的な方法を提供する。
フィードバックモダリティの違いが報酬を制限していることを示し、無制限データ体制では、比較は他のモダリティよりも厳密なグローバル制約を課していることを示す。
複数のMDPで動作する報酬学習のための階層型機械学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 14.145365060331516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As autonomous agents are increasingly deployed across diverse operational contexts, aligning their behavior with human intent demands reward functions that remain robust to such changes rather than overfitting to any single environment. Inverse reinforcement learning (IRL) provides a principled way to infer such objectives from human feedback. However, existing analyses of optimal teaching approaches for IRL focus on single-environment, demonstration-only settings, leaving underexplored how heterogeneous feedback modalities and environment dynamics jointly constrain reward functions that generalize across multiple environments. Because demonstrations in one MDP entangle reward information with that environments specific structure, the resulting rewards frequently fail to generalize when the agent is deployed in a new setting. We first analyze how different feedback modalities constrain rewards, showing that, in the unlimited-data regime, comparisons impose strictly stronger global constraints than other modalities. Beyond this theoretical analysis, we introduce a hierarchical machine teaching algorithm for reward learning that operates across multiple MDPs. The algorithm first greedily selects informative environments that expose complementary reward constraints, then strategically queries low-cost feedback within those environments. Empirically, our method achieves substantially lower regret and stronger generalization to held-out environments than uniform teaching baselines under identical feedback budgets, demonstrating the importance of multi-environment, multi-modal teaching for learning dynamics-robust reward functions.
- Abstract（参考訳）: 自律的なエージェントは、さまざまな運用状況にまたがってデプロイされるようになり、その振る舞いと人間の意図を一致させることによって、そのような変更に対して、単一の環境に過度に適合するのではなく、堅牢な報酬関数が要求されるようになる。
逆強化学習(IRL)は、人間のフィードバックからそのような目的を推測する原則的な方法を提供する。
しかし、IRLのための最適指導手法の既存の分析では、複数の環境にまたがって一般化する報酬関数を協調的に制約する不均一なフィードバックのモダリティと環境ダイナミクスがいかに探索されたかに焦点が当てられている。
あるMDPの報酬情報が環境固有の構造と絡み合うため、エージェントが新しい設定でデプロイされると、結果の報酬は一般化に失敗する。
まず、異なるフィードバックモダリティが報酬を制限しているかを分析し、無制限データ体制において、比較は他のモダリティよりも強いグローバル制約を課していることを示す。
この理論解析の他に、複数のMDPで動作する報酬学習のための階層型機械学習アルゴリズムを導入する。
アルゴリズムはまず、補完的な報酬制約を提示する情報環境を選択し、その後、これらの環境内の低コストなフィードバックを戦略的にクエリする。
提案手法は,同じフィードバック予算下での均一な教示ベースラインよりも,保留環境に対する後悔感とより強い一般化を実現し,動的ロバスト報酬関数の学習において,マルチ環境・マルチモーダル教育の重要性を実証する。
関連論文リスト
- EnvACE: Internalizing Environment Dynamics via World Rehearsal for Agentic Reinforcement Learning [57.312638079204255]
長期ツール使用のための大規模言語モデルエージェントの訓練は、通常、実または合成可能な環境との相互作用に依存する。
本研究では,世界リハーサルのトレーニング中に外部環境の相互作用を置き換えるエージェント強化学習手法であるEnvACEを紹介する。
論文 参考訳（メタデータ） (2026-08-06T15:54:36Z) - Can RL Improve Generalization of LLM Agents? An Empirical Study [68.19349692042341]
Reinforcement Fine-tuning (RFT) は環境フィードバックに基づいてマルチターン意思決定を行うための LLM エージェントの訓練を約束している。
現実世界のデプロイメントでは、エージェントは異なるバックグラウンド知識を持つ見えない環境で動作することができる。
RFTは環境内のタスクの難易度でよく一般化されるが、見えない環境へのより弱い移動を示す。
論文 参考訳（メタデータ） (2026-03-12T14:54:59Z) - Learning Pareto-Optimal Rewards from Noisy Preferences: A Framework for Multi-Objective Inverse Reinforcement Learning [0.0]
そこで我々は,人間の嗜好を潜在ベクトル値報酬関数としてモデル化する,嗜好に基づく多目的逆強化学習(MO-IRL)の理論的枠組みを提案する。
本研究は,実践的アライメント技術と理論的保証のギャップを埋め,アライメント行動の学習の原則的基盤を提供するものである。
論文 参考訳（メタデータ） (2025-05-17T06:09:13Z) - On Generalization Across Environments In Multi-Objective Reinforcement Learning [6.686583184622338]
我々は,多目的強化学習(MORL)における一般化の概念を定式化し,その評価方法について述べる。
パラメータ化された環境構成を持つ多目的ドメインを特徴とする新しいベンチマークを提案。
このベンチマークにおける最先端のMORLアルゴリズムのベースライン評価は、限定的な一般化能力を示し、改善の余地があることを示唆している。
論文 参考訳（メタデータ） (2025-03-02T08:50:14Z) - Subtask-Aware Visual Reward Learning from Segmented Demonstrations [97.80917991633248]
本稿では,新しい報酬学習フレームワークであるReward Learning from Demonstration with Demonstrationsを紹介する。
我々は,映像セグメントとそれに対応するサブタスクに条件付けされた高密度報酬関数を訓練し,地道報酬信号との整合性を確保する。
実験の結果,REDSはメタワールドにおける複雑なロボット操作タスクのベースライン手法よりも優れていた。
論文 参考訳（メタデータ） (2025-02-28T01:25:37Z) - EvIL: Evolution Strategies for Generalisable Imitation Learning [33.745657379141676]
模倣学習(IL)の専門家によるデモンストレーションと、学習したポリシをデプロイしたい環境は、まったく同じではありません。
クローンのようなポリシー中心のアプローチと比較すると、逆強化学習(IRL)のような報酬中心のアプローチは、しばしば新しい環境における専門家の振る舞いをよりよく再現する。
最新のディープILアルゴリズムは、専門家よりもはるかに弱いポリシーを導出する報酬を頻繁に回収する。
本研究では,目標環境における再学習を高速化する報酬形成項を最適化する進化戦略に基づく新しい手法であるEvILを提案する。
論文 参考訳（メタデータ） (2024-06-15T22:46:39Z) - Invariant Causal Imitation Learning for Generalizable Policies [87.51882102248395]
Invariant Causal Learning (ICIL) を提案する。
ICILはノイズ変数の特定の表現から切り離された因果的特徴の表現を学習する。
ICILは、目に見えない環境に一般化可能な模倣ポリシーの学習に有効であることを示す。
論文 参考訳（メタデータ） (2023-11-02T16:52:36Z) - Inferring Versatile Behavior from Demonstrations by Matching Geometric
Descriptors [72.62423312645953]
人間は直感的にタスクを多目的に解決し、軌道に基づく計画や個々のステップの行動を変化させる。
現在のImitation Learningアルゴリズムは、通常、単調な専門家によるデモンストレーションのみを考慮し、状態アクションベースの設定で行動する。
代わりに、移動プリミティブの混合と分布マッチングの目的を組み合わせることで、専門家の行動と汎用性にマッチする多目的行動を学ぶ。
論文 参考訳（メタデータ） (2022-10-17T16:42:59Z) - Sparse Attention Guided Dynamic Value Estimation for Single-Task
Multi-Scene Reinforcement Learning [16.910911657616005]
同じタスクから複数のレベル/シーンを持つ環境で深い強化学習エージェントを訓練することは、多くのアプリケーションにとって不可欠です。
マルチシーン環境におけるサンプルのばらつきは,各シーンを個別のMDPとして扱うことで最小化できると論じる。
また,従来のCNN/LSTMに基づく批判ネットワークでは捉えられていないマルチシーン環境における真のジョイント値関数が,マルチモーダル分布に従うことを示した。
論文 参考訳（メタデータ） (2021-02-14T23:30:13Z) - Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。
環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。
提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
論文 参考訳（メタデータ） (2020-10-17T09:54:51Z) - Ecological Reinforcement Learning [76.9893572776141]
このような条件下での学習を容易にする環境特性について検討する。
環境の特性が強化学習エージェントのパフォーマンスにどのように影響するかを理解することは、学習を魅力的にする方法でタスクを構造化するのに役立ちます。
論文 参考訳（メタデータ） (2020-06-22T17:55:03Z) - Dynamic Value Estimation for Single-Task Multi-Scene Reinforcement
Learning [22.889059874754242]
同じタスクから複数のレベル/シーン/条件を持つ環境において、深層強化学習エージェントを訓練することは、多くのアプリケーションにとって欠かせないものとなっている。
本研究では,複数のMDP環境に対する動的値推定(DVE)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T17:56:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。