論文の概要: DeFlow: Decoupling Manifold Modeling and Value Maximization for Offline Policy Extraction

• arxiv url: http://arxiv.org/abs/2601.10471v2
• Date: Sat, 17 Jan 2026 06:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 14:05:45.196884
• Title: DeFlow: Decoupling Manifold Modeling and Value Maximization for Offline Policy Extraction
• Title（参考訳）: DeFlow: オフラインポリシー抽出のためのデカップリングマニフォールドモデリングと価値最大化
• Authors: Zhancun Mu,
• Abstract要約: 本稿では、フローマッチングを利用して複雑な振る舞い多様体を忠実にキャプチャする、分離されたオフラインRLフレームワークであるDeFlowを紹介する。 フロー多様体の明示的でデータ由来の信頼領域内で,軽量な精細化モジュールを学習することにより,この問題に対処する。 DeFlowは、挑戦的なOGBenchベンチマークで優れたパフォーマンスを実現し、オフラインからオンラインへの効率的な適応を実証している。
• 参考スコア（独自算出の注目度）: 4.558338633638409
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present DeFlow, a decoupled offline RL framework that leverages flow matching to faithfully capture complex behavior manifolds. Optimizing generative policies is computationally prohibitive, typically necessitating backpropagation through ODE solvers. We address this by learning a lightweight refinement module within an explicit, data-derived trust region of the flow manifold, rather than sacrificing the iterative generation capability via single-step distillation. This way, we bypass solver differentiation and eliminate the need for balancing loss terms, ensuring stable improvement while fully preserving the flow's iterative expressivity. Empirically, DeFlow achieves superior performance on the challenging OGBench benchmark and demonstrates efficient offline-to-online adaptation.
• Abstract（参考訳）: 本稿では、フローマッチングを利用して複雑な振る舞い多様体を忠実にキャプチャする、分離されたオフラインRLフレームワークであるDeFlowを紹介する。 生成ポリシーの最適化は計算的に禁止されており、典型的にはODEソルバによるバックプロパゲーションを必要とする。 単段蒸留による反復生成能力を犠牲にするのではなく,フロー多様体の明示的でデータ由来の信頼領域内で軽量な精製モジュールを学習することで,この問題に対処する。 このようにして、解法微分を回避し、損失項のバランスを取る必要をなくし、フローの反復表現性を完全に保ちながら安定した改善を確実にする。 実証的には、DeFlowは挑戦的なOGBenchベンチマークで優れたパフォーマンスを実現し、オフラインからオンラインへの効率的な適応を実証している。

関連論文リスト

• Iterative Refinement of Flow Policies in Probability Space for Online Reinforcement Learning [56.47948583452555]
  固定ステップのEulerスキームによるフローマッチング推論プロセスの離散化は,最適輸送から変化するJordan-Kinderlehrer-Otto原理と整合する,というキーインサイトに基づいて,SWFP(Stepwise Flow Policy)フレームワークを紹介した。 SWFPは、大域的な流れを、プロキシメート分布間の小さな漸進的な変換の列に分解する。 この分解は、小さな流れブロックのカスケードを介して事前訓練された流れを微調整する効率的なアルゴリズムを導き、大きな利点をもたらす。
  論文  参考訳（メタデータ） (2025-10-17T07:43:51Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
  本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
  論文  参考訳（メタデータ） (2025-02-09T22:45:15Z)
• AdaFlow: Imitation Learning with Variance-Adaptive Flow-Based Policies [21.024480978703288]
  本稿では,フローベース生成モデルに基づく模倣学習フレームワークであるAdaFlowを提案する。 AdaFlowは状態条件付き常微分方程式(ODE)によるポリシーを表す AdaFlowは高速な推論速度で高い性能を実現する。
  論文  参考訳（メタデータ） (2024-02-06T10:15:38Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Self Normalizing Flows [65.73510214694987]
  本稿では,各層における学習された近似逆数により,勾配の高価な項を置き換えることで,フローの正規化を訓練するための柔軟なフレームワークを提案する。 これにより、各レイヤの正確な更新の計算複雑性が$mathcalO(D3)$から$mathcalO(D2)$に削減される。 実験により,これらのモデルは非常に安定であり,正確な勾配値と類似したデータ可能性値に最適化可能であることが示された。
  論文  参考訳（メタデータ） (2020-11-14T09:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。