論文の概要: A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.14041v1
• Date: Fri, 02 Oct 2026 18:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.474248
• Title: A Geometric Perspective on Reward Function Updates in Inverse Reinforcement Learning
• Title（参考訳）: 逆強化学習における逆関数更新の幾何学的視点
• Abstract要約: Inverse Reinforcement Learningにおいて、報酬更新の占有空間ビューを提示する。 占有空間における最適解とその幾何学の両方が知られていることを示す。 次に、ミラー・ダイアンスの観点から、これらの占有空間報酬の更新を分析し、その結果の報酬に対するポリシー探索が、ポリシー上の近似エントロピーMDを誘導することを示す。
• 参考スコア（独自算出の注目度）: 15.851015588609501
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Inverse Reinforcement Learning (IRL) is classically solved using Lagrangian optimisation, by jointly optimising a primal-dual problem with gradient descent to obtain the optimal reward function parameters and corresponding optimal policy. While this algorithmic view of IRL has been highly influential, gradient-based reward updates only paint a partial picture, largely ignoring the geometry of the problem in occupancy space. In this paper, we present an occupancy-space view of reward updates in IRL. We leverage the insight that both the optimal solution and its geometry in occupancy space are known, and show that the geometry along the e-geodesic (straight line in occupancy space) toward the optimal occupancy directly affects the gradient of the IRL dual problem in reward parameter space. This perspective naturally suggests preconditioning the dual gradient with the average Fisher information along the occupancy trajectory. We show that this preconditioned gradient is just a convex interpolation of the old reward and a new target reward, yielding efficient natural-gradient-style updates with little additional computational overhead. We then analyse these occupancy-space reward updates from a Mirror Descent (MD) perspective, and show that policy search over the resulting rewards induces approximate entropic MD on the policy. Finally, we conclude with convergence results of such geometry-aware IRL algorithms.
• Abstract（参考訳）: Inverse Reinforcement Learning (IRL) はラグランジュ最適化を用いて古典的に解き、最適報酬関数パラメータと対応する最適ポリシーを得るために、勾配降下を伴う原始双対問題を共同で最適化する。 このIRLのアルゴリズム的なビューは、非常に影響力があるが、勾配に基づく報酬の更新は部分的な図のみを描き、占有空間における問題の幾何学を無視している。 本稿では、IRLにおける報酬更新の占有空間ビューを示す。 我々は、占有空間における最適解とその幾何学の両方が知られているという知見を活用し、最適占有領域へのe-ゲデシック(占有空間における直線)に沿った幾何学が、報酬パラメータ空間におけるIRL双対問題の勾配に直接影響を与えることを示す。 この視点は自然に、占有軌道に沿った平均フィッシャー情報と双対勾配を事前条件付けすることを示唆している。 この事前条件付き勾配は、単に古い報酬と新しい目標報酬の凸補間であり、計算オーバーヘッドの少ない効率的な自然段階的な更新をもたらすことを示す。 次に、ミラー・ダイアンス(MD)の観点から、これらの占有空間報酬の更新を分析し、その結果の報酬に対するポリシー探索が、ポリシー上の近似エントロピーMDを誘導することを示す。 最後に、このような幾何認識IRLアルゴリズムの収束結果を結論付ける。

関連論文リスト

• Retry Policy Gradients in Continuous Action Spaces [3.78414997207345]
  リトライ目的に対するパスワイズ微分推定器を導入し、ReMaxを連続的なアクション空間に拡張する。 ReMaxは、政策の緩やかな景観を再構築することで探索を促進することができることを示す。 我々は、この目的を、政治以外のアクター批判アルゴリズムであるReMAC(ReMax Actor-Critic)として初期化する。
  論文  参考訳（メタデータ） (2026-06-04T08:57:45Z)
• VA-GS: Enhancing the Geometric Representation of Gaussian Splatting via View Alignment [48.147381011235446]
  3D Gaussian Splattingは、リアルタイムな新規ビュー合成のための効率的なソリューションとして最近登場した。 ビューアライメントによる3次元ガウス多様体の幾何学的表現を強化する新しい手法を提案する。 本手法は, 表面再構成と新しいビュー合成の両面において, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-10-13T14:44:50Z)
• Scaled-Dot-Product Attention as One-Sided Entropic Optimal Transport [0.0]
  本研究は、SDPA(Scaled-Dot-product attention)の第一原理的正当性を提供する。 まず、注目の進行は、縮退した片側エントロピー最適輸送問題の正確な解であることを示す。 バックプロパゲーションによって計算される標準勾配は、数学的に有利なポリシー勾配と同一であることを示す。
  論文  参考訳（メタデータ） (2025-08-11T18:00:17Z)
• A Novel Variational Lower Bound for Inverse Reinforcement Learning [5.370126167091961]
  逆強化学習(IRL)は、専門家の軌道から報酬関数を学習しようとする。 IRL(VLB-IRL)のための新しい変分下界について述べる。 本手法は,学習した報酬関数の下で報酬関数とポリシーを同時に学習する。
  論文  参考訳（メタデータ） (2023-11-07T03:50:43Z)
• Neural Gradient Learning and Optimization for Oriented Point Normal Estimation [53.611206368815125]
  本研究では,3次元点雲から勾配ベクトルを一貫した向きで学習し,正規推定を行うためのディープラーニング手法を提案する。 局所平面幾何に基づいて角距離場を学習し、粗勾配ベクトルを洗練する。 本手法は,局所特徴記述の精度と能力の一般化を図りながら,グローバル勾配近似を効率的に行う。
  論文  参考訳（メタデータ） (2023-09-17T08:35:11Z)
• Provably Efficient Offline Reinforcement Learning with Trajectory-Wise Reward [66.81579829897392]
  我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。 PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。 私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-13T19:11:22Z)
• Leveraging Non-uniformity in First-order Non-convex Optimization [93.6817946818977]
  目的関数の非一様洗練は、emphNon-uniform Smoothness(NS)とemphNon-uniform Lojasiewicz inequality(NL)につながる 新しい定義は、古典的な$Omega (1/t2)$下界よりも早く大域的最適性に収束する新しい幾何学的一階法を刺激する。
  論文  参考訳（メタデータ） (2021-05-13T04:23:07Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Efficient Exploration of Reward Functions in Inverse Reinforcement Learning via Bayesian Optimization [43.51553742077343]
  逆強化学習(IRL)は、価値アライメントやデモからのロボット学習など、さまざまなタスクに関係している。 本稿では,ベイズ最適化IRL(BO-IRL)と呼ばれるIRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-17T10:17:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。