論文の概要: Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

• arxiv url: http://arxiv.org/abs/2609.36812v2
• Date: Thu, 01 Oct 2026 17:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.521593
• Title: Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
• Title（参考訳）: 提案条件付きリファインメントフローによる拡散政策の改善
• Abstract要約: PReFlowは批判に基づく提案選択と条件付き洗練フローを組み合わせたポリシー抽出手法である。 50 OGBenchタスクでは、PReFlowは競合するオフラインパフォーマンスを実現し、500K環境ステップの後に91%に達した。
• 参考スコア（独自算出の注目度）: 15.31014290660031
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion and flow policies can model complex behaviors in offline reinforcement learning (RL). However, penalizing their KL divergence from the behavior policy can discourage actions having high critic values with low behavior density. Directly refining behavior proposals may be an alternative, yet Gaussian or deterministic editors limit expressiveness to represent multiple separated modes for the same proposal. In this work, we introduce Proposal-Conditioned Refinement Flows (PReFlow), a policy extraction method combining critic-based proposal selection with a conditional refinement flow. To optimize proposal selection and refinement together, we formulate a KL-regularized objective whose optimum induces a Gibbs policy over final actions under a Gaussian-smoothed behavior prior. The refinement flow can represent multiple high value modes, while a proposal-centered Gaussian reference regulates large action changes. This Gaussian reference further enables us to make use of simulation-free, closed form adjoint matching targets from sampled endpoints and critic gradients, yielding a single velocity regression loss without a backward adjoint solve. On 50 OGBench tasks, PReFlow achieves competitive offline performance and the highest aggregate score among the compared methods after online fine-tuning, reaching 91\% after 500K environment steps.
• Abstract（参考訳）: 拡散と流れのポリシーは、オフライン強化学習(RL)における複雑な振る舞いをモデル化することができる。 しかしながら、行動政策からKLの分岐を罰することは、行動密度の低い高い批判値を持つ行動を妨げる可能性がある。 しかし、ガウス的あるいは決定論的エディタは、同じ提案に対して複数の分離モードを表現するために表現性を制限している。 本研究では,批判に基づく提案選択と条件付き洗練フローを組み合わせた政策抽出手法であるPReFlowを提案する。 提案手法の最適化と改良を両立させるため, ガウスの平滑な動作の下で, 最終動作に対してギブズポリシーを導出するKL正規化対象を定式化する。 改良フローは複数の高値モードを表現でき、提案中心のガウス参照は大きな行動変化を規制する。 このガウス的参照により、サンプル化された終点と批評家の勾配から、シミュレーションフリーで閉じた形と一致した目標を利用できるようになり、後向きの随伴解を使わずに単一の速度回帰損失が得られる。 50 OGBenchタスクでは、PReFlowは、競合するオフラインパフォーマンスと、オンラインの微調整後に比較したメソッドの最高スコアを達成し、500K環境ステップの後に91\%に達した。

関連論文リスト

• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Flow Matching Policy with Entropy Regularization [16.47598359293598]
  Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。 FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。 スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-03-18T13:00:20Z)
• SiMPO: Measure Matching for Online Diffusion Reinforcement Learning [52.46919717963149]
  一般単調関数を持つ拡散RLにおける再重み付けスキームを一般化する,シンプルで統一的なフレームワークであるSiMPOを紹介する。 SiMPOは2段階の測度マッチングレンズを介して拡散RLを再考する。 我々は、負の再重み付けが準最適行動から政策を積極的に反映していることを示す幾何学的解釈を提供する。
  論文  参考訳（メタデータ） (2026-03-10T22:01:13Z)
• Optimizing Backward Policies in GFlowNets via Trajectory Likelihood Maximization [4.158255103170876]
  GFlowNetsは、与えられた報酬関数に比例したオブジェクトのサンプルを学習する生成モデルのファミリーである。 近年の研究では,GFlowNetトレーニングとエントロピー規則化強化学習問題との密接な関係が示されている。 本稿では,エントロピー規則化マルコフ決定プロセスにおいて,値関数を直接逐次的に適用する,シンプルな後方ポリシー最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-20T19:12:14Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• FlowPG: Action-constrained Policy Gradient with Normalizing Flows [14.98383953401637]
  ACRL(Action-Constrained reinforcement learning)は、安全クリティカルなリソース関連意思決定問題を解決するための一般的な手法である。 ACRLの最大の課題は、各ステップにおける制約を満たす有効なアクションを取るエージェントを確保することである。
  論文  参考訳（メタデータ） (2024-02-07T11:11:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。