論文の概要: Drift, Then Spread: Learning One-Step Generative Policies for Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.15662v1
• Date: Sun, 11 Oct 2026 14:40:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 17:18:43.38526
• Title: Drift, Then Spread: Learning One-Step Generative Policies for Online Reinforcement Learning
• Title（参考訳）: Drift, Then Spread: オンライン強化学習のためのワンステップ生成ポリシー学習
• Abstract要約: オンライン強化学習(RL)のための表現力のある行動分布を提供するジェネレーティブポリシー オンライン最大エントロピー(MaxEnt)RLのためのDriftingに基づく一段階生成ポリシーであるDriftSpreadを提案する。
• 参考スコア（独自算出の注目度）: 28.43248719896766
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Generative policies offer expressive action distributions for online reinforcement learning (RL), but many diffusion- and flow-based policies require costly iterative sampling. We propose DriftSpread, a one-step generative policy based on Drifting for online maximum-entropy (MaxEnt) RL. To incorporate entropy without a tractable policy density, we build on an energy-based view of Drifting and derive critic-guided Drift and entropy-induced Spread from the negative MaxEnt objective. Our method learns these updates sequentially in the same actor, using action regression for value improvement and distribution matching to capture the effect of entropy. The actor updates require neither direct samples from the critic-defined Boltzmann target nor policy-density or score estimation. Under exact fitting with a fixed critic, we prove convergence to the Boltzmann target in the small-step limit followed by the long-time limit. On MuJoCo, DriftSpread achieves the highest aggregate normalized return among all evaluated methods, while outperforming the diffusion- and flow-based baselines in both training and inference efficiency.
• Abstract（参考訳）: 生成ポリシーは、オンライン強化学習(RL)のための表現力のある行動分布を提供するが、多くの拡散型およびフローベースのポリシーは、コストのかかる反復的なサンプリングを必要とする。 オンライン最大エントロピー(MaxEnt)RLのためのDriftingに基づく一段階生成ポリシーであるDriftSpreadを提案する。 トラクタブルな政策密度を伴わずにエントロピーを組み込むため、エネルギーに基づくドリフトのビューを構築し、負のMaxEnt目標から批判誘導ドリフトとエントロピー誘発スプレッドを導出する。 提案手法は, 値改善のためのアクション回帰と分布マッチングを用いて, エントロピーの影響を捉えることによって, アクタ内で順次これらの更新を学習する。 アクター更新は、批評家が定義したボルツマンターゲットからの直接的なサンプルやポリシー密度やスコア推定を必要としない。 固定された批評家との正確な適合の下で、ボルツマン目標への収束を小さな段階の極限で証明し、その後に長期の極限で証明する。 MuJoCo上では、DriftSpreadは、トレーニングと推論の効率の両方において拡散ベースラインとフローベースラインを上回りながら、評価されたすべてのメソッドの中で最も高い集合正規化リターンを達成する。

関連論文リスト

• Reinforcement Learning via Fixed-point Flow Matching [29.1518224886225]
  動作制約強化学習(RL)における訓練および微調整フローポリシーのための固定点フローマッチング(FFM)を提案する。 FFMは、RLにおけるトレーニングおよび微調整フローポリシーのためのデータフリープロシージャである。 オフライン-オンライン設定において,FFMが事前学習したフローポリシーを効果的に微調整できることが示唆された。
  論文  参考訳（メタデータ） (2026-10-09T01:15:10Z)
• FERPO: Forward Entropy-Regularized Policy Optimization [5.677602352510579]
  本稿では,最大エントロピー強化学習アルゴリズムであるフォワードエントロピー正規化政策最適化(FERPO)を提案する。 FERPOは、批評家を行動に関して差別化することなく、批判値を使用して政策改善を行う。 MuJoCo PlaygroundとManiSkillの実験と改善は、競争性能とサンプル効率の向上を示している。
  論文  参考訳（メタデータ） (2026-10-01T17:59:41Z)
• Schrödinger--Föllmer Actor--Critic: Diffusion Policy Improvement with Finite-Sample Analysis [16.115903198836694]
  拡散ポリシは、マルチモーダルなアクション分布を表すが、アドバンテージ重み付けされた更新では、結果のターゲット分布からサンプルする方法を規定していない。 我々は,KL(Kulback--Leibler)のオフライン-オンライン強化学習(RL)手法であるSchrdinger-Fllmer Actor-Critic (SFAC)を提案する。 適切な条件下では、評価評価、神経ドリフト回帰、有限サンプルSNIS、拡散離散化、およびアクターエラーが期待される平均的政策最適性に与える影響を分離する有限サンプル境界を導出する。
  論文  参考訳（メタデータ） (2026-09-27T05:27:34Z)
• DiPOD: Diffusion Policy Optimization without Drifting Apart [88.2714417395158]
  RLポストトレーニングは、拡散政策を改善するためにますます重要になっている。 既存の拡散政策段階的な手法はしばしば不安定であり、信頼性の高い政策改善を達成できない。 本稿では,トレーニングを通じて厳密な動作を維持する拡散ポリシー最適化フレームワークbftextDiPODを提案する。
  論文  参考訳（メタデータ） (2026-06-11T18:06:04Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Flow Matching Policy with Entropy Regularization [16.47598359293598]
  Flow Matching Policy with Entropy Regularization (FMER)は、通常の微分方程式(ODE)ベースのオンラインRLフレームワークである。 FMERは、フローマッチングを通じてポリシーをパラメータ化し、最適な輸送によって動機付けられたストレートな確率経路に沿ってアクションをサンプリングする。 スパースマルチゴールのFrankaKitchenベンチマークの実験は、FMERが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-03-18T13:00:20Z)
• Coverage Improvement and Fast Convergence of On-policy Preference Learning [67.36750525893514]
  言語モデルアライメントのためのオンラインのオンラインプライオリティ学習アルゴリズムは、オフラインのアルゴリズムよりも大幅に優れている。 我々は,サンプリング政策の包括的範囲が政治訓練を通じてどのように進展するかを分析する。 一般機能クラス設定における報奨蒸留のための原則的オンライン方式を開発した。
  論文  参考訳（メタデータ） (2026-01-13T10:46:06Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。