論文の概要: Optimal Transport Meets Reinforcement Learning: A Survey

• arxiv url: http://arxiv.org/abs/2610.01413v1
• Date: Thu, 01 Oct 2026 10:19:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.049982
• Title: Optimal Transport Meets Reinforcement Learning: A Survey
• Title（参考訳）: 強化学習を取り入れた最適輸送 : 調査
• Abstract要約: 強化学習アルゴリズムは、政策や専門家によって誘導される状態訪問分布、学習されたポリシーやオフラインデータセットからのアクション分布、学習されたモデルや環境からの遷移分布など、確率分布を頻繁に比較する。 本稿では,異なるOT選択の背景にあるモチベーション,コスト設計や計算課題などの実践的考察,拡張性のある軌道レベルの輸送,マスミスマッチの原則的処理,OT規則化RLの理論解析など,オープンな課題を取り上げる。
• 参考スコア（独自算出の注目度）: 8.436020932157684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning (RL) algorithms frequently compare probability distributions, such as state visitation distributions induced by policies and experts, action distributions from learned policies and offline datasets, or transition distributions from learned models and environments. However, commonly used divergences may become ineffective when these distributions overlap weakly, which is frequently encountered in imitation learning, offline RL, and deployment under distribution shift. Optimal transport (OT) offers an alternative by measuring the cost of \emph{moving} probability mass from one distribution to another under a ground cost that encodes task geometry. This survey covers how OT is used inside RL objectives and algorithms. For each method, we identify: the role OT plays, the distributions compared, the OT formulation used, and the treatment of temporal structure. Beyond categorising existing methods, we discuss the motivations behind different OT choices, practical considerations such as cost design and computational challenges, and highlight open problems including scalable trajectory-level transport, principled handling of mass mismatch, and theoretical analysis for OT-regularised RL.
• Abstract（参考訳）: 強化学習(RL)アルゴリズムは、政策や専門家によって誘導される状態訪問分布、学習されたポリシーやオフラインデータセットからのアクション分布、学習したモデルや環境からの遷移分布など、確率分布を頻繁に比較する。 しかし、これらの分布が弱い重なり合い、模倣学習、オフラインRL、分布シフトによる展開で頻繁に発生すると、一般的に使用される発散は効果が低下する可能性がある。 最適輸送(OT)は、ある分布から別の分布への確率質量のコストを、タスク幾何学を符号化する基底コストで測定することで、代替手段を提供する。 このサーベイは、RLの目的とアルゴリズムの中でOTがどのように使用されるかをカバーする。 各方法について, OTが果たす役割, 比較した分布, OTの定式化, 時間構造の変化について検討した。 既存の手法の分類以外にも,様々なOT選択の背景にあるモチベーション,コスト設計や計算課題などの実践的考察,スケーラブルな軌道レベルの輸送,マスミスマッチの原則的処理,OT規則化RLの理論解析など,オープンな課題を取り上げている。

関連論文リスト

• DISA: Offline Importance Sampling for Distribution-Matching LLM-RL [56.9445657766829]
  本稿では、このキャリブレーション問題をRLループの外に移動させるdisAを紹介する。 DISAは提案トラジェクトリをオフラインに描画し、重要サンプリングによってパーティション関数を推定し、結果として発生するパーティション関数の推定を凍結する。 6つの数学と3つのコードベンチマークにまたがる2つのオープンウェイトなバックボーンでは、DisdisAはオンラインに結合した分散マッチングベースラインフローにマッチするか、超えている。
  論文  参考訳（メタデータ） (2026-05-17T07:14:44Z)
• Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training [61.1421888242439]
  Supervised Fine-tuning (SFT) は計算効率が良いが、強化学習 (RL) に比べて一般化が劣ることが多い。 そこで我々は,オンポリシィSFTを有効にすることで,このシャームを橋渡しするフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-12T17:59:58Z)
• Offline Reinforcement Learning with Wasserstein Regularization via Optimal Transport Maps [47.57615889991631]
  オフライン強化学習(RL)は、静的データセットから最適なポリシーを学ぶことを目的としている。 本稿では,分布外データに対して頑健なワッサースタイン距離を利用する手法を提案する。 提案手法は,D4RLベンチマークデータセット上で広く使用されている手法と同等あるいは優れた性能を示す。
  論文  参考訳（メタデータ） (2025-07-14T22:28:36Z)
• Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage [32.578787778183546]
  オフライン強化学習(RL)アルゴリズムは、過去の(オフライン)データを用いて最適な警察を学習する。 オフラインRLの主な課題の1つは、分散シフトである。 分散ロバスト学習(DRL)フレームワークを用いた2つのオフラインRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-27T19:19:30Z)
• Learning representations that are closed-form Monge mapping optimal with application to domain adaptation [24.258758784011572]
  最適輸送(OT)は、最小の努力原理に従って確率測度を比較し調整するための強力なツールである。 機械学習(ML)で広く使われているにもかかわらず、OT問題はまだ計算負担を負っている。 本稿では,これらの課題に表現学習を用いて取り組むことを提案する。
  論文  参考訳（メタデータ） (2023-05-12T14:14:39Z)
• Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare [38.42691031505782]
  本稿では, 因子化作用空間によって誘導される線形Q-関数分解の形式を提案する。 我々の手法は、状態-作用空間の未探索領域内でエージェントがより正確な推論を行うのに役立つ。
  論文  参考訳（メタデータ） (2023-05-02T19:13:10Z)
• Offline Policy Optimization in RL with Variance Regularizaton [142.87345258222942]
  定常分布補正を用いたオフラインRLアルゴリズムの分散正則化を提案する。 Fenchel双対性を用いることで、分散正規化器の勾配を計算するための二重サンプリング問題を回避することができることを示す。 オフライン分散正規化アルゴリズム(OVAR)は,既存のオフラインポリシー最適化アルゴリズムを拡張できる。
  論文  参考訳（メタデータ） (2022-12-29T18:25:01Z)
• Curriculum Reinforcement Learning using Optimal Transport via Gradual Domain Adaptation [46.103426976842336]
  強化学習(CRL)は、簡単なタスクから始まり、徐々に難しいタスクへと学習する一連のタスクを作成することを目的としている。 本研究では、ソース(補助的)とターゲットタスク分布の間のカリキュラムとしてCRLをフレーミングするという考え方に焦点をあてる。 半教師付き学習における段階的ドメイン適応の洞察に触発されて、CRLのタスク分散シフトを小さなシフトに分解することで、自然なカリキュラムを作成する。
  論文  参考訳（メタデータ） (2022-10-18T22:33:33Z)
• Low-rank Optimal Transport: Approximation, Statistics and Debiasing [51.50788603386766]
  フロゼットボン2021ローランで提唱された低ランク最適輸送(LOT)アプローチ LOTは興味のある性質と比較した場合、エントロピー正則化の正当な候補と見なされる。 本稿では,これらの領域のそれぞれを対象とし,計算OTにおける低ランクアプローチの影響を補強する。
  論文  参考訳（メタデータ） (2022-05-24T20:51:37Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。