論文の概要: Is Optimal Transport Necessary for Inverse Reinforcement Learning?

• arxiv url: http://arxiv.org/abs/2506.06793v1
• Date: Sat, 07 Jun 2025 13:29:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 21:10:47.055429
• Title: Is Optimal Transport Necessary for Inverse Reinforcement Learning?
• Title（参考訳）: 逆強化学習には最適輸送が必要か?
• Authors: Zixuan Dong, Yumi Omori, Keith Ross,
• Abstract要約: 逆強化学習(IRL)は、専門家によるデモンストレーションから報酬関数を回復することを目的としている。 IRLにおける最適輸送(OT)の2つの簡単な代替案を提案する。 我々の単純な報酬は、最近のOTベースのアプローチと一致しているか、上回っていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inverse Reinforcement Learning (IRL) aims to recover a reward function from expert demonstrations. Recently, Optimal Transport (OT) methods have been successfully deployed to align trajectories and infer rewards. While OT-based methods have shown strong empirical results, they introduce algorithmic complexity, hyperparameter sensitivity, and require solving the OT optimization problems. In this work, we challenge the necessity of OT in IRL by proposing two simple, heuristic alternatives: (1) Minimum-Distance Reward, which assigns rewards based on the nearest expert state regardless of temporal order; and (2) Segment-Matching Reward, which incorporates lightweight temporal alignment by matching agent states to corresponding segments in the expert trajectory. These methods avoid optimization, exhibit linear-time complexity, and are easy to implement. Through extensive evaluations across 32 online and offline benchmarks with three reinforcement learning algorithms, we show that our simple rewards match or outperform recent OT-based approaches. Our findings suggest that the core benefits of OT may arise from basic proximity alignment rather than its optimal coupling formulation, advocating for reevaluation of complexity in future IRL design.
• Abstract（参考訳）: 逆強化学習(IRL)は、専門家によるデモンストレーションから報酬関数を回復することを目的としている。 近年,オプティマルトランスポート(OT)法は軌道の整列や報酬の推測に成功している。 OTに基づく手法は強い経験的結果を示しているが、アルゴリズムの複雑さ、ハイパーパラメータ感度を導入し、OT最適化問題を解く必要がある。 本研究では, 時間的順序によらず, 最寄りのエキスパート状態に基づいて報酬を割り当てる最小距離リワードと, エージェント状態と専門家軌道の対応するセグメントとの整合による軽量な時間的アライメントを含むセグメンテーションリワードという2つの単純なヒューリスティックな方法を提案することにより, IRLにおけるOTの必要性に挑戦する。 これらの手法は最適化を回避し、線形時間複雑性を示し、実装が容易である。 3つの強化学習アルゴリズムを用いた32のオンラインおよびオフラインベンチマークの広範な評価を通じて、私たちの単純な報酬は、最近のOTベースのアプローチにマッチするか、より優れています。 この結果から, OTのコアとなる利点は, 結合の最適な定式化ではなく, 基礎的な近接アライメントから生じ, 今後のIRL設計における複雑性の再評価を提唱することが示唆された。

関連論文リスト

• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• LIRE: listwise reward enhancement for preference alignment [27.50204023448716]
  本稿では、複数の応答のオフライン報酬を合理化されたリストワイズフレームワークに組み込む、勾配に基づく報酬最適化手法を提案する。 LIREは実装が簡単で、最小限のパラメータチューニングを必要とし、ペアワイズパラダイムとシームレスに整合する。 実験の結果,LIREは対話タスクや要約タスクのベンチマークにおいて,既存のメソッドよりも一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T10:21:50Z)
• An Efficient Learning-based Solver Comparable to Metaheuristics for the Capacitated Arc Routing Problem [67.92544792239086]
  我々は,高度メタヒューリスティックスとのギャップを著しく狭めるため,NNベースの解法を導入する。 まず,方向対応型注意モデル(DaAM)を提案する。 第2に、教師付き事前学習を伴い、堅牢な初期方針を確立するための教師付き強化学習スキームを設計する。
  論文  参考訳（メタデータ） (2024-03-11T02:17:42Z)
• OptEx: Expediting First-Order Optimization with Approximately Parallelized Iterations [12.696136981847438]
  ほぼ並列化されたイテレーション (OptEx) で高速化された一階最適化を導入する。 OptExは、並列コンピューティングを活用して、その反復的ボトルネックを軽減することで、FOOの効率を高める最初のフレームワークである。 我々は、カーネル化された勾配推定の信頼性とSGDベースのOpsExの複雑さを理論的に保証する。
  論文  参考訳（メタデータ） (2024-02-18T02:19:02Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Symmetric Replay Training: Enhancing Sample Efficiency in Deep Reinforcement Learning for Combinatorial Optimization [42.92248233465095]
  本稿では,SRT (symmetric replay training) と呼ばれる簡易かつ効果的な手法を提案する。 提案手法は,オンラインインタラクションを伴わない対称領域の探索を促進するために,高解像度サンプルを活用する。 実世界のタスクに適用した多種多様なDRL法に対して,本手法を一貫したサンプル効率向上効果を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-06-02T05:34:01Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。