論文の概要: Fast Rates for Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.14599v1
• Date: Thu, 14 May 2026 09:07:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.744882
• Title: Fast Rates for Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習の高速化
• Authors: Andreas Schlaginhaufen, Maryam Kamgarpour,
• Abstract要約: 最大推定値 (MLE) とMin-Max-IRL は, 人口レベルで等価であることを示す。 我々は、報酬パラメータに関するソフト最適値関数の導出に関する新しい結果を得る。
• 参考スコア（独自算出の注目度）: 12.651802060560636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish novel structural and statistical results for entropy-regularized min-max inverse reinforcement learning (Min-Max-IRL) with linear reward classes in finite-horizon MDPs with Borel state and action spaces. On the structural side, we show that maximum likelihood estimation (MLE) and Min-Max-IRL are equivalent at the population level, and at the empirical level under deterministic dynamics. On the statistical side, exploiting pseudo-self-concordance of the Min-Max-IRL loss, we prove that both the trajectory-level KL divergence and the squared parameter error in the Hessian norm decay at the fast rate $\mathcal{O}(n^{-1})$, where $n$ is the number of expert trajectories. Our guarantees apply under misspecification and require no exploration assumptions. We further extend reward-identifiability results to general Borel spaces and derive novel results on the derivatives of the soft-optimal value function with respect to reward parameters.
• Abstract（参考訳）: ボレル状態と作用空間を持つ有限水平MDPにおける線形報酬クラスを持つエントロピー規則化min-max逆強化学習(Min-Max-IRL)の新たな構造的および統計的結果を確立した。 構造面では,最大推定値 (MLE) とMin-Max-IRL は, 人口レベルでは等価であり, 決定論的力学の下では経験的に等価であることを示す。 統計面では、Min-Max-IRL損失の擬自己一致を利用して、ファストレート$\mathcal{O}(n^{-1})$におけるヘッセンノルム崩壊における軌道レベルのKL偏差と2乗パラメータ誤差の両方が証明される。 我々の保証は不特定で適用され、探索の前提は不要である。 さらに、一般ボレル空間に報酬-識別性結果を拡張し、報酬パラメータに関するソフト-最適値関数の微分に関する新しい結果を導出する。

関連論文リスト

• Beyond Linear Attention: Softmax Transformers Implement In-Context Reinforcement Learning [26.624140780367103]
  インコンテキスト強化学習は、事前訓練後、パラメータを更新せずに追加コンテキストに条件付けすることで、新しいタスクに適応する。 本稿では、非現実的な線形注意を単純化することなく、ICRLに関する最初の理論的理解を提供する。 このようなソフトマックスの注意を持つトランスフォーマーの階層的に前方通過は、重み付きソフトマックス時間差(TD)学習アルゴリズムの反復更新と等価であることを示す。
  論文  参考訳（メタデータ） (2026-05-08T06:37:51Z)
• Theoretical Limits of Language Model Alignment [9.45142272392467]
  言語モデル(LM)アライメントは、ベースモデルの能力を保ちながら、人間の好みを反映するモデル出力を改善する。 最も一般的なアライメントアプローチは、(i)強化学習であり、KL分割制約の下で期待される報酬を最大化する。 固定KL分割予算に対する最大期待報酬利得を導出することにより、KL正規化アライメントの情報理論的限界を特徴づける。
  論文  参考訳（メタデータ） (2026-05-08T01:32:22Z)
• An Empirical Risk Minimization Approach for Offline Inverse RL and Dynamic Discrete Choice Model [8.95720650633184]
  機械学習において、動的選択(DDC)モデル(オフライン最大エントロピー正規化逆強化学習(オフラインMaxEnt-IRL))を推定する問題について検討する。 目的は、オフラインの振舞いデータからエージェントの振舞いを管理する$Q*$関数をリカバリすることである。 線形パラメータ化報酬の制限的仮定を使わずにこれらの問題を解くための大域収束勾配法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T22:22:20Z)
• Is Temperature Sample Efficient for Softmax Gaussian Mixture of Experts? [27.924615931679757]
  本研究は,MoEの下での最大推定値に対する専門家(MoE)の密度-スパース混合の影響について検討する。 本稿では,線形層の出力を活性化関数にルーティングし,ソフトマックス関数に伝達する新しいアクティベーション・トゥ・スパースゲートを提案する。
  論文  参考訳（メタデータ） (2024-01-25T01:09:09Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。