論文の概要: Reinforcement Learning via Fixed-point Flow Matching

• arxiv url: http://arxiv.org/abs/2610.12848v1
• Date: Fri, 09 Oct 2026 01:15:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.336531
• Title: Reinforcement Learning via Fixed-point Flow Matching
• Title（参考訳）: 固定点フローマッチングによる強化学習
• Abstract要約: 動作制約強化学習(RL)における訓練および微調整フローポリシーのための固定点フローマッチング(FFM)を提案する。 FFMは、RLにおけるトレーニングおよび微調整フローポリシーのためのデータフリープロシージャである。 オフライン-オンライン設定において,FFMが事前学習したフローポリシーを効果的に微調整できることが示唆された。
• 参考スコア（独自算出の注目度）: 29.1518224886225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In maximum entropy and behavior-constrained reinforcement learning (RL), the optimal policy is given by a Boltzmann distribution. Generating samples from this distribution can be challenging, as it is often complex and multimodal. While flow policies trained with flow matching provide a powerful framework for representing such distributions, they traditionally rely on access to training data, which is generally unavailable in online RL. To address this limitation, we propose fixed-point flow matching (FFM), a data-free procedure for training and fine-tuning flow policies in RL. FFM leverages the target flow identity to formulate the actor update as a fixed-point iteration, utilizing a flow-matching-style regression objective where the critic's action gradients serve as regression targets. We show that the optimal policy is a fixed point of this iteration. Through extensive experiments, we demonstrate that FFM effectively fine-tunes pretrained flow policies in the offline-to-online setting and enables efficient and accurate training of flow policies from scratch in online RL. These results establish fixed-point flow matching as a principled approach for learning expressive flow-based policies without requiring training data.
• Abstract（参考訳）: 最大エントロピーおよび行動制約付き強化学習(RL)において、最適方針はボルツマン分布によって与えられる。 この分布からサンプルを生成することは、しばしば複雑でマルチモーダルであるため、困難である。 フローマッチングでトレーニングされたフローポリシは、そのような分散を表現するための強力なフレームワークを提供するが、従来はトレーニングデータへのアクセスに依存しており、オンラインRLでは一般的に利用できない。 この制限に対処するために、RLにおけるデータフリーな学習手順である固定点フローマッチング(FFM)と微調整フローポリシーを提案する。 FFMはターゲットフローのアイデンティティを活用し、アクター更新を固定点反復として定式化し、批評家のアクション勾配が回帰ターゲットとして機能するフローマッチングスタイルの回帰目標を利用する。 最適なポリシーは、このイテレーションの固定ポイントであることを示す。 大規模な実験を通じて、FFMはオフラインからオンラインまでのフローポリシーを効果的に微調整し、オンラインRLのスクラッチからスクラッチまでのフローポリシーの効果的かつ正確なトレーニングを可能にすることを実証した。 これらの結果は、学習データを必要としない表現的フローベースのポリシーを学習するための原則的アプローチとして、固定点フローマッチングを確立した。

関連論文リスト

• ReFPO: Reflow Regularization for Flow Matching Policy Gradients [58.32178725687043]
  本稿では,フローマッチングポリシーに明示的なリフロー正規化を追加する,シンプルなオンラインRL手法を提案する。 ReFPOはGridWorld, MuJoCo Playground, および高次元ヒューマノイド制御タスクにおける平均性能と離散化を改善することを実験的に実証した。
  論文  参考訳（メタデータ） (2026-06-19T04:23:10Z)
• Reversal Q-Learning [57.43956630070019]
  逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。 RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2026-06-16T05:56:10Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Mean Flow Policy Optimization [30.210126355529372]
  MeanFlowモデルは、数ステップのフローベースの生成モデルのクラスです。 最大エントロピーRLフレームワークでMeanFlowポリシーを最適化する。 MuJoCo と DeepMind Control Suite のベンチマーク実験により,本手法が現在の拡散ベースラインに匹敵する,あるいは超えた性能を達成することを示す。
  論文  参考訳（メタデータ） (2026-04-16T06:59:52Z)
• Learning in Context, Guided by Choice: A Reward-Free Paradigm for Reinforcement Learning with Transformers [55.33468902405567]
  本稿では、事前学習とデプロイの両方が好みのフィードバックにのみ依存する新しい学習パラダイム、In-Context Preference-based Reinforcement Learning (ICPRL)を提案する。 ICPRLは、厳密なコンテキスト内一般化を可能にし、完全な報酬管理で訓練されたICRLメソッドに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-09T03:42:16Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Flow-Based Single-Step Completion for Efficient and Expressive Policy Learning [0.0]
  そこで本研究では,中間フローサンプルから直接完了ベクトルを予測するために,フローマッチングを改良した生成ポリシーを提案する。 我々の手法はオフライン、オフライン、オンラインのRL設定に効果的にスケールし、スピードと適応性を大幅に向上させる。 我々はSSCPをゴール条件付きRLに拡張し、フラットポリシーが明確な階層的推論なしでサブゴナル構造を活用できるようにする。
  論文  参考訳（メタデータ） (2025-06-26T16:09:53Z)
• Flow-Based Policy for Online Reinforcement Learning [34.86742824686496]
  FlowRLは、フローベースのポリシー表現とWasserstein-2正規化最適化を統合する、オンライン強化学習のためのフレームワークである。 オンライン強化学習ベンチマークにおいて,FlowRLが競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-15T10:53:35Z)
• A Snapshot of Influence: A Local Data Attribution Framework for Online Reinforcement Learning [45.19254609437857]
  オンライン強化学習(RL)は、複雑で安全クリティカルな領域で優れているが、サンプルの非効率性、トレーニング不安定性、限定的な解釈可能性に悩まされている。 データ属性は、モデルの振る舞いをトレーニングサンプルに遡る、原則化された方法を提供する。 本稿では、オンラインRLトレーニングのためのアルゴリズムである反復的影響ベースのフィルタリング(IIF)を提案し、ポリシー更新を洗練するための経験的フィルタリングを反復的に行う。
  論文  参考訳（メタデータ） (2025-05-25T19:25:57Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。