論文の概要: Inferring Transferable Rewards via Active Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.03296v1
• Date: Mon, 02 Nov 2026 15:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 12:43:34.920243
• Title: Inferring Transferable Rewards via Active Inverse Reinforcement Learning
• Title（参考訳）: 能動逆強化学習による伝達可能な逆流の推定
• Abstract要約: 逆強化学習(Inverse Reinforcement Learning)は、動的に異なる環境間で伝達される専門家の報酬を回復することを目的としている。 まず、利用可能なダイナミクスをサイクルして、信頼できる報酬推定値を取得し、それから積極的にダイナミクスを選択して、専門家の報酬に関する不確実性を減らします。 これにより、任意のダイナミクスに対して保持される転送において、利用可能なダイナミクスの数に依存しない、新しいサンプルの複雑さが保証される。
• 参考スコア（独自算出の注目度）: 21.376380691966784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inverse Reinforcement Learning (IRL) aims to recover expert rewards that transfer across environments with differing dynamics. Prior work has shown that such transfer is possible when gathering expert demonstrations across sufficiently different dynamics. In practice, however, expert demonstrations are costly, making it critical to select the right dynamics to reduce the quantity of expert data required for learning transferable rewards. We propose a two-phase approach: we first cycle through the available dynamics to obtain a reliable reward estimate, then actively select dynamics to reduce our uncertainty about the expert reward. Crucially, this yields novel sample complexity guarantees on transfer that hold for any dynamics, with a rate independent of the number of available dynamics. Empirically, our method significantly reduces the number of expert demonstrations needed to learn a transferable reward.
• Abstract（参考訳）: 逆強化学習(IRL: Inverse Reinforcement Learning)は、動的に異なる環境間で伝達される専門家の報酬を回復することを目的としている。 以前の研究は、十分に異なるダイナミクスにわたる専門家のデモンストレーションを集める際に、そのような移行が可能であることを示していた。 しかし実際には、専門家によるデモンストレーションはコストがかかるため、移行可能な報酬の学習に必要な専門家データの量を減らすために、適切なダイナミクスを選択することが重要である。 まず、利用可能なダイナミクスをサイクルして信頼性の高い報酬推定を行い、その後、専門家の報酬に関する不確実性を減らすために、動的を積極的に選択する。 重要なことに、これは任意のダイナミクスに対して保持する転送において、利用可能なダイナミクスの数に依存しない、新しいサンプルの複雑さを保証する。 実験により,提案手法は,伝達可能な報酬を学習するために必要な専門家のデモンストレーション回数を大幅に削減する。

関連論文リスト

• Beyond Imitation: Recovering Dense Rewards from Demonstrations [64.05543657441218]
  教師付き微調整は単純な模倣学習プロセスとして扱われ、データセット上の専門家の振る舞いを模倣するポリシーを訓練するのみである。 我々は、SFTプロセスが政策を学習するだけでなく、専門家のデモンストレーションを説明する暗黙の、密集したトークンレベルの報酬モデルも示している。 Dense-Path ReINFORCEは命令追従ベンチマークにおいて、元のSFTモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-10-02T18:58:26Z)
• Offline Imitation Learning upon Arbitrary Demonstrations by Pre-Training Dynamics Representations [16.363455701286696]
  遷移力学の因子化から導かれる動的表現を学習する事前学習段階を導入する。 提案アルゴリズムは,専門家の方針を1つの軌道で模倣できることを示す。
  論文  参考訳（メタデータ） (2025-08-20T03:23:20Z)
• RIZE: Regularized Imitation Learning via Distributional Reinforcement Learning [0.3222802562733786]
  固定された報酬構造の剛性と暗黙的な報酬規則化の柔軟性を緩和する新しい逆強化学習(IRL)法を提案する。 本手法は,最大エントロピーIRLフレームワーク上に構築され,学習中に動的に進化する適応目標を持つ2乗時間差正規化器を備える。
  論文  参考訳（メタデータ） (2025-02-27T13:47:29Z)
• RILe: Reinforced Imitation Learning [60.63173816209543]
  RILe(Reinforced Learning)は、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。 本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
  論文  参考訳（メタデータ） (2024-06-12T17:56:31Z)
• Transferable Reward Learning by Dynamics-Agnostic Discriminator Ensemble [8.857776147129464]
  専門家によるデモンストレーションから報酬関数を復元することは、強化学習における根本的な問題である。 本研究では、状態行動と状態のみの報酬関数の両方を学習できる動的非依存型識別器・アンサンブル報酬学習法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T05:16:39Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Off-Dynamics Inverse Reinforcement Learning from Hetero-Domain [11.075036222901417]
  そこで本研究では,実世界の実演を参考に,シミュレータの報酬関数を学習するヘテロドメインからの逆強化学習を提案する。 この手法の背景にある直感は、報酬関数は専門家を模倣するだけでなく、シミュレータと現実世界のダイナミクスの違いに応じて調整された行動を奨励すべきである。
  論文  参考訳（メタデータ） (2021-10-21T19:23:15Z)
• Variational Dynamic for Self-Supervised Exploration in Deep Reinforcement Learning [12.76337275628074]
  本研究では,条件付き変分推論に基づく変動力学モデルを提案し,多モード性および生成性をモデル化する。 環境遷移の負の対数類似度の上界を導出し、その上界を探査の本質的な報酬として利用する。 提案手法は,最先端の環境モデルに基づく探索手法よりも優れている。
  論文  参考訳（メタデータ） (2020-10-17T09:54:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。