論文の概要: A Survey of Flow Matching in Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.16275v1
• Date: Mon, 12 Oct 2026 06:55:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.321036
• Title: A Survey of Flow Matching in Reinforcement Learning
• Title（参考訳）: 強化学習におけるフローマッチングに関する調査
• Abstract要約: フローマッチングは、強化学習のための原則的かつ効率的な生成モデリングフレームワークである。 この調査は、強化学習におけるフローマッチングアプローチの包括的分類を提供する。
• 参考スコア（独自算出の注目度）: 10.112779201155005
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow Matching (FM) has recently emerged as a principled and efficient generative modeling framework for reinforcement learning (RL), enabling expressive, multimodal policy parameterizations via deterministic probability transport. Compared to diffusion-based policies that rely on stochastic denoising chains, FM uses sampling based on ordinary differential equations (ODEs), with learned velocity fields, which can substantially reduce inference latency and simplify the incorporation of RL objectives. As research in flow-based RL rapidly accelerates across offline continuous control, online fine-tuning, and foundation model alignment, the literature has become highly fragmented. In this survey, we provide a comprehensive taxonomy of flow-matching approaches in reinforcement learning. We organize the literature along two axes: the target distribution being modeled (e.g., action policies, value critics, transition dynamics) and the mechanism of RL signal integration (e.g., energy-weighted regression, flow-based policy gradients, and group relative policy optimization). Furthermore, we survey emerging frontiers such as discrete and non-Euclidean action spaces, provide a systematic comparative analysis against Gaussian and diffusion baselines, and outline critical open problems. Ultimately, this survey serves as a foundational roadmap for the next generation of generative reinforcement learning and alignment.
• Abstract（参考訳）: フローマッチング(FM)は、最近、強化学習(RL)のための原則的かつ効率的な生成モデリングフレームワークとして登場し、決定論的確率輸送による表現的・多モーダルなポリシーパラメータ化を実現している。 一般微分方程式(ODE)に基づくサンプリングと学習速度場を用い,推論遅延を大幅に低減し,RL目標の組込みを簡略化する。 フローベースのRLの研究は、オフラインの連続制御、オンラインの微調整、基礎モデルのアライメントを急速に加速するので、文献は高度に断片化されている。 本研究では,強化学習におけるフローマッチングアプローチの包括的分類法を提案する。 対象分布のモデル化(アクションポリシー,価値批判,遷移ダイナミクス)とRL信号の統合機構(エネルギー重み付き回帰,フローベースポリシ勾配,グループ相対ポリシー最適化)という2つの軸に沿って,文献を整理する。 さらに、離散的および非ユークリッド的行動空間などの新興フロンティアを調査し、ガウス的および拡散的ベースラインに対する体系的比較分析を行い、重要なオープン問題を概説する。 最終的に、この調査は次世代のジェネレーティブ強化学習とアライメントの基礎となるロードマップとなる。

関連論文リスト

• A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models [9.133661763917374]
  我々は、離散状態空間とおそらく任意の行動空間で連続的に強化学習(RL)を定式化する。 スコアベース離散拡散モデルを微調整するための完全連続時間RLフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-07-16T03:19:53Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
  本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
  論文  参考訳（メタデータ） (2025-02-09T22:45:15Z)
• Iterative Preference Learning from Human Feedback: Bridging Theory and Practice for RLHF under KL-Constraint [56.74058752955209]
  本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程について検討する。 まず、オフラインPPOやオフラインDPOのような既存の一般的な手法の主な課題を、環境の戦略的探索に欠如していると認識する。 有限サンプル理論保証を用いた効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-18T18:58:42Z)
• False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
  本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。 SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
  論文  参考訳（メタデータ） (2021-10-24T15:34:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。