論文の概要: Mean Flow Policy Optimization

• arxiv url: http://arxiv.org/abs/2604.14698v1
• Date: Thu, 16 Apr 2026 06:59:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-17 21:29:31.768914
• Title: Mean Flow Policy Optimization
• Title（参考訳）: 平均フローポリシー最適化
• Abstract要約: MeanFlowモデルは、数ステップのフローベースの生成モデルのクラスです。 最大エントロピーRLフレームワークでMeanFlowポリシーを最適化する。 MuJoCo と DeepMind Control Suite のベンチマーク実験により,本手法が現在の拡散ベースラインに匹敵する,あるいは超えた性能を達成することを示す。
• 参考スコア（独自算出の注目度）: 30.210126355529372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have recently emerged as expressive policy representations for online reinforcement learning (RL). However, their iterative generative processes introduce substantial training and inference overhead. To overcome this limitation, we propose to represent policies using MeanFlow models, a class of few-step flow-based generative models, to improve training and inference efficiency over diffusion-based RL approaches. To promote exploration, we optimize MeanFlow policies under the maximum entropy RL framework via soft policy iteration, and address two key challenges specific to MeanFlow policies: action likelihood evaluation and soft policy improvement. Experiments on MuJoCo and DeepMind Control Suite benchmarks demonstrate that our method, Mean Flow Policy Optimization (MFPO), achieves performance comparable to or exceeding current diffusion-based baselines while considerably reducing training and inference time. Our code is available at https://github.com/MFPolicy/MFPO.
• Abstract（参考訳）: 拡散モデルは近年,オンライン強化学習(RL)の表現的政策表現として出現している。 しかし、反復的な生成プロセスは、かなりのトレーニングと推論のオーバーヘッドをもたらす。 この制限を克服するため,数ステップのフローベース生成モデルのクラスであるMeanFlowモデルを用いて,拡散型RLモデルよりもトレーニングと推論効率を向上させることを提案する。 探索を促進するために,ソフトポリシーの反復を通じて,最大エントロピーRLフレームワーク下でのMeanFlowポリシーを最適化し,MeanFlowポリシーに特有の2つの重要な課題に対処する。 MuJoCo と DeepMind Control Suite ベンチマークの実験により,我々の手法である平均フローポリシー最適化 (MFPO) が,現行の拡散ベースラインに匹敵する性能を達成し,トレーニングや推論時間を大幅に短縮することを示した。 私たちのコードはhttps://github.com/MFPolicy/MFPOで利用可能です。

関連論文リスト

• Flow-DPPO: Divergence Proximal Policy Optimization for Flow Matching Models [61.74572554094633]
  比クリッピングは流れモデルに不適であると主張する。 本稿では,比クリッピングを分岐近位制約に置き換えるFlow-DPPOを提案する。 実験により,フローDPPOはKL近位効率が向上し,高い報酬が得られることが示された。
  論文  参考訳（メタデータ） (2026-06-09T15:59:57Z)
• Score-Based One-step MeanFlow Policy Optimization [4.94481688445056]
  MeanFlowは、単一のネットワーク評価でノイズをデータにマップする平均速度場を学ぶことで、有望な代替手段を提供する。 本稿では,Q関数から直接目標速度場を構築することで,これを解決するアクタークリティカルなアルゴリズムであるScore-based One-step MeanFlow Policy Optimization (SOM)を提案する。 SOMは、単一生成ステップで移動タスクの最先端のパフォーマンスを達成し、事前拡散およびフローマッチングベースのポリシーと比較して、トレーニング時間と推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2026-05-22T08:28:51Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• PolicyFlow: Policy Optimization with Continuous Normalizing Flow in Reinforcement Learning [6.836651088754774]
  PolicyFlowは、CNFベースの強化学習アルゴリズムである。 表現力のあるCNFポリシーをPPOスタイルの目的と統合し、フルフローパスに沿って可能性評価を行う。 PolicyFlowは、簡単な経路に沿って速度場の変動を利用して重要度を近似し、訓練安定性を損なうことなく計算オーバーヘッドを削減する。
  論文  参考訳（メタデータ） (2026-02-01T11:08:09Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Flow Matching Policy Gradients [33.011978450108636]
  フローポリシー最適化は、条件付きフローマッチング損失から計算された利益重み付け比を最大化するものとしてポリシー最適化を推し進める。 FPOは,様々な連続制御タスクにおいて,スクラッチから拡散型ポリシーを訓練できることを示す。 フローベースモデルでは,マルチモーダルな動作分布を捉えることができ,特に未条件条件下でのガウスポリシーよりも高い性能を実現することができる。
  論文  参考訳（メタデータ） (2025-07-28T17:59:57Z)
• Flow-Based Policy for Online Reinforcement Learning [34.86742824686496]
  FlowRLは、フローベースのポリシー表現とWasserstein-2正規化最適化を統合する、オンライン強化学習のためのフレームワークである。 オンライン強化学習ベンチマークにおいて,FlowRLが競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-15T10:53:35Z)
• Decision Flow Policy Optimization [53.825268058199825]
  生成モデルは、複雑なマルチモーダルな動作分布を効果的にモデル化し、連続的な動作空間において優れたロボット制御を実現することができることを示す。 従来の手法は通常、データセットからの状態条件付きアクション分布に適合する振る舞いモデルとして生成モデルを採用する。 マルチモーダルな行動分布モデリングとポリシー最適化を統合した統合フレームワークDecision Flowを提案する。
  論文  参考訳（メタデータ） (2025-05-26T03:42:20Z)
• Diffusion-based Reinforcement Learning via Q-weighted Variational Policy Optimization [55.97310586039358]
  拡散モデルは強化学習(Reinforcement Learning, RL)において、その強力な表現力と多モード性に対して広く注目を集めている。 モデルなし拡散に基づくオンラインRLアルゴリズムQ-weighted Variational Policy Optimization (QVPO)を提案する。 具体的には、ある条件下でのオンラインRLにおける政策目標の厳密な下限を証明できるQ重み付き変動損失を導入する。 また,オンラインインタラクションにおける拡散ポリシのばらつきを低減し,サンプル効率を向上させるための効率的な行動ポリシーも開発している。
  論文  参考訳（メタデータ） (2024-05-25T10:45:46Z)
• Diffusion Policies as an Expressive Policy Class for Offline Reinforcement Learning [70.20191211010847]
  オフライン強化学習(RL)は、以前に収集した静的データセットを使って最適なポリシーを学ぶことを目的としている。 本稿では,条件付き拡散モデルを用いたディフュージョンQ-ラーニング(Diffusion-QL)を提案する。 本手法はD4RLベンチマークタスクの大部分において最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-08-12T09:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。