論文の概要: Learning Multimodal One-step Flow Policy via Value-weighted Optimal Transport

• arxiv url: http://arxiv.org/abs/2609.15883v1
• Date: Mon, 14 Sep 2026 17:10:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.523697
• Title: Learning Multimodal One-step Flow Policy via Value-weighted Optimal Transport
• Title（参考訳）: 価値重み付き最適輸送によるマルチモーダルワンステップフローポリシーの学習
• Abstract要約: 本稿では,一段階フローポリシー学習のためのフレームワークであるTransport Optimal(OptiFlow)を通じて,一段階フローポリシーを導入する。 OptiFlowは最適なマルチモーダル動作を効果的に捉え、多様なオフラインRLベンチマークで高い性能を実現する。
• 参考スコア（独自算出の注目度）: 6.222269578057353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline reinforcement learning aims to learn a policy solely from fixed datasets, which often contain multimodal action distributions. Flow policies can naturally represent such multimodal behaviors, but learning an efficient one-step flow policy remains challenging: standard value guidance often leads to mode collapse or exploits overestimation bias in out-of-distribution regions. To address this, we introduce One-step Flow policy via Optimal Transport (OptiFlow), a framework for one-step flow policy learning as a structured sample-allocation problem. OptiFlow jointly trains a value-aware reference flow policy and an efficient one-step policy, coupling their action samples through state-wise entropic optimal transport. For each state, critic-estimated values define the priority of distillation target actions, while the action-distance cost ensures geometrically compatible pairings. By avoiding direct critic maximization, our transport-guided approach enables in-distribution exploitation by anchoring the one-step policy to high-value, dataset-supported modes without the risk of out-of-distribution divergence. Experimental results demonstrate that OptiFlow effectively captures optimal multimodal behaviors and achieves strong performance across diverse offline RL benchmarks. Our code is available at https://github.com/Yonsei-DILLab/OptiFlow.
• Abstract（参考訳）: オフライン強化学習は、しばしばマルチモーダルなアクション分布を含む固定データセットのみからポリシーを学ぶことを目的としている。 フローポリシーは自然にこのようなマルチモーダルな振る舞いを表現できるが、効率的なワンステップフローポリシーを学ぶことは依然として困難である。 そこで本研究では,一段階フローポリシー学習のためのフレームワークであるOptimal Transport (OptiFlow) を用いて,一段階フローポリシーを導入する。 OptiFlowは、バリューアウェアな参照フローポリシーと効率的なワンステップポリシーを共同でトレーニングし、状態ワイドなエントロピーの最適輸送を通じてアクションサンプルを結合する。 それぞれの状態に対して、批評家推定値は蒸留ターゲットアクションの優先度を定義し、アクション距離コストは幾何学的に互換性のあるペアリングを保証する。 直接的批判の最大化を避けることで、我々のトランスポート誘導アプローチは、アウト・オブ・ディストリビューションのばらつきのリスクを伴わずに、1段階のポリシーを高価値のデータセット支援モードに固定することで、イン・ディストリビューション・エクスプロイトを可能にする。 実験により、OptiFlowは最適なマルチモーダル動作を効果的に捉え、多様なオフラインRLベンチマークで高い性能を達成することが示された。 私たちのコードはhttps://github.com/Yonsei-DILLab/OptiFlow.comで公開されています。

関連論文リスト

• From Attacks to Curricula: Learnability-Guided Adversarial Training for Safe Autonomous Driving [56.30087557121323]
  AlignADVは学習性誘導型クローズドループ対向トレーニングフレームワークである。 敵のシナリオを解決可能で能力に整合したカリキュラムに変換する。 実験の結果、最大40.6%のトレーニングステップが短縮された。
  論文  参考訳（メタデータ） (2026-06-12T02:13:55Z)
• Generative Modeling by Value-Driven Transport [14.31847187460321]
  我々は,測度輸送の離散時間制御定式化に基づく生成モデリングのための新しいフレームワークを開発する。 我々は、訓練されたVDTポリシーが、他の最先端の手法と比較して、多くの好適な特性を享受していることを示す。
  論文  参考訳（メタデータ） (2026-05-21T13:57:06Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Value-Guidance MeanFlow for Offline Multi-Agent Reinforcement Learning [42.476656442284835]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから最適なジョイントポリシーを学ぶことを目的としている。 本稿では,シンプルなフローベースのポリシー学習フレームワークであるValue Guidance Multi-agent MeanFlow Policy (VGM$2$P)を提案する。 VGM$2$Pは、グローバルなアドバンテージ値を使用してエージェントの協調をガイドし、最適なポリシー学習を条件付き行動クローンとして扱う。
  論文  参考訳（メタデータ） (2026-04-09T12:31:43Z)
• PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning [6.836651088754774]
  PolicyFlowは、CNFベースの強化学習アルゴリズムである。 表現力のあるCNFポリシーをPPOスタイルの目的と統合し、フルフローパスに沿って可能性評価を行う。 PolicyFlowは、簡単な経路に沿って速度場の変動を利用して重要度を近似し、訓練安定性を損なうことなく計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2026-02-01T11:08:09Z)
• Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning [10.037416068775853]
  本稿では,多段階フローマッチングポリシと蒸留ワンステップアクタを結合したガイドフローポリシーを提案する。 アクターは、重み付けされた振る舞いのクローンを通じてフローポリシーを指示し、データセットから高価値なアクションのクローンに集中する。 この相互誘導により、GFPは144の状態およびピクセルベースのタスクで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-12-03T17:05:58Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• EXPO: Stable Reinforcement Learning with Expressive Policies [74.30151915786233]
  2つのパラメータ化ポリシーで値の最大化を実現するために,サンプル効率のよいオンライン強化学習アルゴリズムを提案する。 提案手法は, 従来手法に比べて試料効率を最大2～3倍向上させる。
  論文  参考訳（メタデータ） (2025-07-10T17:57:46Z)
• Decision Flow Policy Optimization [53.825268058199825]
  生成モデルは、複雑なマルチモーダルな動作分布を効果的にモデル化し、連続的な動作空間において優れたロボット制御を実現することができることを示す。 従来の手法は通常、データセットからの状態条件付きアクション分布に適合する振る舞いモデルとして生成モデルを採用する。 マルチモーダルな行動分布モデリングとポリシー最適化を統合した統合フレームワークDecision Flowを提案する。
  論文  参考訳（メタデータ） (2025-05-26T03:42:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。