Fugu-MT 論文翻訳(概要): Refinement-based Flow Policy Optimization

論文の概要: Refinement-based Flow Policy Optimization

arxiv url: http://arxiv.org/abs/2609.15123v1
Date: Mon, 14 Sep 2026 06:56:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 07:15:06.123439
Title: Refinement-based Flow Policy Optimization
Title（参考訳）: リファインメントに基づくフローポリシー最適化
Abstract要約: Refinement-Based Flow Policy Optimization (RFPO)は、オンライン強化学習におけるフローポリシーをトレーニングするための新しいフレームワークである。 RFPOは、目標分布からの直接サンプルを必要とせず、Q-guidanceをポリシーに組み込む。 RFPOはモード崩壊なしで複雑なマルチモーダル構造を捕捉する。
参考スコア（独自算出の注目度）: 6.752424962104772
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Flow-based policies offer an expressive representation for online reinforcement learning, but conventional flow matching requires samples drawn from the distribution to be modeled. This poses a challenge when the desired action distribution is defined only implicitly by a Q-function, since directly sampling actions from the resulting distribution is generally intractable. We propose Refinement-Based Flow Policy Optimization (RFPO), a novel framework for training a flow policy in online reinforcement learning by alternating between Q-guided sample refinement and self-target flow matching. RFPO first generates actions from Gaussian noise using the current flow policy and then uses a finite-step stochastic refinement procedure to move them toward an energy-based distribution induced by the Q-function. Each refined action is then paired with its corresponding initial noise sample and used as a fixed target for flow-matching training. By repeatedly refining its own outputs and learning from the resulting targets, RFPO incorporates Q-guidance into the policy without requiring direct samples from the target distribution, while retaining the capacity to represent multiple action modes. We further provide a theoretical analysis of the distributional dynamics induced by RFPO. Across six continuous-control tasks, RFPO matches or outperforms a standard Gaussian-policy baseline on almost every task. Experiments on six synthetic two-dimensional target distributions with diverse geometries demonstrate that RFPO captures complex multimodal structure without mode collapse.
Abstract（参考訳）: フローベースのポリシーは、オンライン強化学習のための表現力のある表現を提供するが、従来のフローマッチングには、モデル化される分布から引き出されたサンプルが必要である。これは、所望の作用分布がQ-函数によって暗黙的にのみ定義されるときの課題である。本稿では,Q-guided sample refinementと自己ターゲットフローマッチングを交互に組み合わせることで,オンライン強化学習におけるフローポリシーのトレーニングを行う新しいフレームワークであるRefinement-based Flow Policy Optimization (RFPO)を提案する。 RFPOは、まず現在の流れポリシを用いてガウスノイズから作用を生成し、その後、有限ステップの確率的洗練手順を用いてQ関数によって誘導されるエネルギーベースの分布へ移動させる。それぞれの改良された動作は、対応する初期ノイズサンプルとペアリングされ、フローマッチングトレーニングの固定ターゲットとして使用される。 RFPOは、自分自身の出力を精製し、結果のターゲットから学習することで、ターゲット分布からの直接サンプルを必要とせず、複数のアクションモードを表現する能力を維持しながら、Q-guidanceをポリシーに組み込む。さらに,RFPOにより誘導される分布力学の理論的解析を行う。 6つの連続制御タスクにまたがって、RFPOは、ほぼ全てのタスクにおいて標準のガウス・ポリティクスベースラインにマッチまたは上回る。様々な地形を持つ6つの合成2次元ターゲット分布の実験により、RFPOはモード崩壊なしに複雑なマルチモーダル構造を捕捉することを示した。

関連論文リスト

Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
論文参考訳（メタデータ） (2026-05-20T15:14:14Z)
Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
論文参考訳（メタデータ） (2026-05-12T17:12:29Z)
One-Step Generative Modeling via Wasserstein Gradient Flows [56.266175641614986]
W-Flowは、単純な参照分布からサンプルをターゲットデータ分布からサンプルに変換するジェネレータを1ステップでトレーニングするフレームワークである。我々は1ステップのImageNet 256$times$256 生成のための新しい技術状況を設定し、モードカバレッジとドメイン転送を改善した 1.29 FID を達成した。
論文参考訳（メタデータ） (2026-05-12T08:29:44Z)
Flow Matching Policy with Entropy Regularization [16.47598359293598]
Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。 FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
論文参考訳（メタデータ） (2026-03-18T13:00:20Z)
Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies [4.249024052507976]
本稿では, 直接的対象サンプルを使わずに, 拡散・流動モデルの訓練問題に厳密に対処する, 逆流マッチング (RFM) の統一フレームワークを提案する。逆推論の観点を採用することで、中間雑音サンプルが与えられた後部平均推定問題としてトレーニング対象を定式化する。このクラスでは,既存の雑音予測法と勾配探索法が2つの具体例であることを示す。
論文参考訳（メタデータ） (2026-01-13T01:58:24Z)
G$^2$RPO: Granular GRPO for Precise Reward in Flow Models [74.21206048155669]
本稿では,サンプリング方向の高精度かつ包括的な報酬評価を実現する新しいグラニュラー-GRPO(G$2$RPO)フレームワークを提案する。複数の拡散スケールで計算された利点を集約するマルチグラニュラリティ・アドバンテージ・インテグレーション・モジュールを導入する。 G$2$RPOは既存のフローベースGRPOベースラインを著しく上回る。
論文参考訳（メタデータ） (2025-10-02T12:57:12Z)
Unleashing Flow Policies with Distributional Critics [15.149475517073258]
本稿では、状態-動作の戻りの完全な分布を学習する新しい批判的アーキテクチャであるDis Distributional Flow Critic (DFC)を紹介する。 DFCは、より安定的で情報的な学習信号を提供する、豊かで分散的なベルマンターゲットを備えた表現力のあるフローベースのポリシーを提供する。
論文参考訳（メタデータ） (2025-09-27T03:51:06Z)
One-Step Flow Policy Mirror Descent [52.31612487608593]
Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
論文参考訳（メタデータ） (2025-07-31T15:51:10Z)
Flow Matching Policy Gradients [33.011978450108636]
フローポリシー最適化は、条件付きフローマッチング損失から計算された利益重み付け比を最大化するものとしてポリシー最適化を推し進める。 FPOは,様々な連続制御タスクにおいて,スクラッチから拡散型ポリシーを訓練できることを示す。フローベースモデルでは,マルチモーダルな動作分布を捉えることができ,特に未条件条件下でのガウスポリシーよりも高い性能を実現することができる。
論文参考訳（メタデータ） (2025-07-28T17:59:57Z)
Sampling from Energy-based Policies using Diffusion [18.135501150108894]
エネルギーベースのポリシーは、強化学習における複雑なマルチモーダルな振る舞いをモデル化するための柔軟なフレームワークを提供する。既存の手法では、政策表現にガウスのような単純なパラメトリック分布を用いるのが一般的である。エネルギーベースの政策から拡散に基づくアプローチを導入し、負のQ関数がエネルギー関数を定義する。
論文参考訳（メタデータ） (2024-10-02T08:09:33Z)
Learning a Diffusion Model Policy from Rewards via Q-Score Matching [93.0191910132874]
本稿では,拡散モデルポリシの構造を学習されたQ-関数に関連付ける理論的枠組みを提案する。本稿では,この理論からQスコアマッチングを示す新しいポリシー更新手法を提案する。
論文参考訳（メタデータ） (2023-12-18T23:31:01Z)
Implicit Distributional Reinforcement Learning [61.166030238490634]
2つのディープジェネレータネットワーク(DGN)上に構築された暗黙の分布型アクター批判(IDAC) 半単純アクター (SIA) は、フレキシブルなポリシー分布を利用する。我々は,代表的OpenAI Gym環境において,IDACが最先端のアルゴリズムより優れていることを観察する。
論文参考訳（メタデータ） (2020-07-13T02:52:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。