論文の概要: GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies

• arxiv url: http://arxiv.org/abs/2603.14245v1
• Date: Sun, 15 Mar 2026 06:39:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.69686
• Title: GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies
• Title（参考訳）: GoldenStart:Q-Guided pres and Entropy Control for Distilling Flow Policies
• Abstract要約: フローマッチング政策は強化学習(RL)を大いに約束する 彼らの実践的応用は、しばしば禁止的な遅延推論と効果の低いオンライン探索によって妨げられる。 我々は,Q誘導前処理と明示的エントロピー制御を備えた政策蒸留法であるGoldenStart(GSFlow)を提案する。 統合されたフレームワークは、生成開始点を設計し、ポリシーエントロピーを明示的に制御することにより、効率的かつ探索的なポリシーを達成できることを実証する。
• 参考スコア（独自算出の注目度）: 22.819853466384686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow-matching policies hold great promise for reinforcement learning (RL) by capturing complex, multi-modal action distributions. However, their practical application is often hindered by prohibitive inference latency and ineffective online exploration. Although recent works have employed one-step distillation for fast inference, the structure of the initial noise distribution remains an overlooked factor that presents significant untapped potential. This overlooked factor, along with the challenge of controlling policy stochasticity, constitutes two critical areas for advancing distilled flow-matching policies. To overcome these limitations, we propose GoldenStart (GSFlow), a policy distillation method with Q-guided priors and explicit entropy control. Instead of initializing generation from uninformed noise, we introduce a Q-guided prior modeled by a conditional VAE. This state-conditioned prior repositions the starting points of the one-step generation process into high-Q regions, effectively providing a "golden start" that shortcuts the policy to promising actions. Furthermore, for effective online exploration, we enable our distilled actor to output a stochastic distribution instead of a deterministic point. This is governed by entropy regularization, allowing the policy to shift from pure exploitation to principled exploration. Our integrated framework demonstrates that by designing the generative startpoint and explicitly controlling policy entropy, it is possible to achieve efficient and exploratory policies, bridging the generative models and the practical actor-critic methods. We conduct extensive experiments on offline and online continuous control benchmarks, where our method significantly outperforms prior state-of-the-art approaches. Code will be available at https://github.com/ZhHe11/GSFlow-RL.
• Abstract（参考訳）: フローマッチングポリシは、複雑なマルチモーダルなアクション分布をキャプチャすることで、強化学習(RL)を大いに約束する。 しかし、それらの実践的応用は、しばしば禁忌の推論遅延と非効果的なオンライン探索によって妨げられる。 近年の研究では、高速な推論のために一段階の蒸留法が採用されているが、初期ノイズ分布の構造は、大きな未発見ポテンシャルを示す見落としの要素として残されている。 この見過ごされた要因は、政策確率性を制御することの難しさと共に、蒸留フローマッチング政策を進めるための2つの重要な領域を構成している。 これらの制約を克服するために,Q誘導前処理と明示的エントロピー制御を備えた政策蒸留法であるGoldenStart(GSFlow)を提案する。 非インフォームドノイズから生成を初期化する代わりに、条件付きVAEによってモデル化されたQ誘導前処理を導入する。 この状態条件付き事前配置は、1段階生成プロセスの開始点を高Q領域に配置し、効果的に「ゴールドスタート」を提供し、将来的な行動にポリシーをショートカットする。 さらに, オンライン探索を効果的に行うため, 蒸留したアクターは, 決定論点ではなく確率分布を出力できる。 これはエントロピー規則化(entropy regularization)によって統治されており、政策は純粋な搾取から原則的な探検へと移行することができる。 統合された枠組みは, 生成開始点を設計し, 政策エントロピーを明示的に制御することにより, 効率的かつ探索的な政策を達成し, 生成モデルと実用的なアクタ批判的手法をブリッジできることを実証する。 我々は、オフラインおよびオンラインの継続的制御ベンチマークで広範な実験を行い、我々の手法は最先端のアプローチよりも大幅に優れています。 コードはhttps://github.com/ZhHe11/GSFlow-RLで入手できる。

関連論文リスト

• Expert Behavior Prior Reinforcement Learning [10.983482150597913]
  行動事前強化学習(BPRL)は、オンライン強化学習(RL)におけるサンプル効率向上のための有望なパラダイムとして登場した。 既存のBPRLメソッドの多くは静的なオフラインデータセットに依存しており、データ多様性の低さと最適下軌道品質に悩まされることが多い。 本稿では,オンライン再生バッファから直接,エキスパートポリシーの事前生成を学習するエキスパート行動優先(EBP)アルゴリズムを提案する。 EBPは最先端のオンラインRLアルゴリズムを著しく上回り、より高いサンプリング効率とより安定した収束を実現している。
  論文  参考訳（メタデータ） (2026-07-23T13:26:57Z)
• ReFPO: Reflow Regularization for Flow Matching Policy Gradients [58.32178725687043]
  本稿では,フローマッチングポリシーに明示的なリフロー正規化を追加する,シンプルなオンラインRL手法を提案する。 ReFPOはGridWorld, MuJoCo Playground, および高次元ヒューマノイド制御タスクにおける平均性能と離散化を改善することを実験的に実証した。
  論文  参考訳（メタデータ） (2026-06-19T04:23:10Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Generative Actor-Critic with Soft Bridge Policies [19.121990264725028]
  効果的なソフト生成ポリシーの訓練は、しばしば一緒に起こる2つの障害に直面します。 第一に、端的な作用密度はしばしば利用できないので、既存の方法は通常エントロピー境界、プロキシ、近似に依存する。 これらの障害は、単一のサンプル化されたアクターフォワードパスのみをアクション生成に必要としながら、抽出可能なMaxEnt目標を公開する生成ポリシーを求める動機となります。
  論文  参考訳（メタデータ） (2026-05-09T06:36:32Z)
• OGPO: Sample Efficient Full-Finetuning of Generative Control Policies [53.42266064673132]
  ジェネレーティブコントロールポリシー(GCP)は、ロボット学習に有効なパラメータ化として登場した。 この研究は、GCPを微調整するためのサンプル効率であるOGPO(Off-policy Generative Policy Optimization)を導入している。 OGPOはマルチタスク設定、高精度挿入、デクスタラス制御にまたがる操作タスクにおける最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-05-04T18:36:40Z)
• Reparameterization Flow Policy Optimization [35.59197802340267]
  フローポリシーは、差別化可能なODE統合を通じてアクションを生成する。 RFOは、フロー生成プロセスとシステムダイナミクスを共同でバックプロパゲーションすることで、ポリシー勾配を計算する。 RFOは最先端のベースラインの報酬として約2ドルを達成している。
  論文  参考訳（メタデータ） (2026-02-03T13:22:08Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Sampling from Energy-based Policies using Diffusion [18.135501150108894]
  エネルギーベースのポリシーは、強化学習における複雑なマルチモーダルな振る舞いをモデル化するための柔軟なフレームワークを提供する。 既存の手法では、政策表現にガウスのような単純なパラメトリック分布を用いるのが一般的である。 エネルギーベースの政策から拡散に基づくアプローチを導入し、負のQ関数がエネルギー関数を定義する。
  論文  参考訳（メタデータ） (2024-10-02T08:09:33Z)
• Truly Deterministic Policy Optimization [3.07015565161719]
  本稿では,探索的ノイズ注入を回避し,決定論的景観に対するポリシー探索を行う政策勾配法を提案する。 状態遷移モデルとポリシの両方が決定論的であれば,正確な利点推定を計算可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-30T18:49:33Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)
• Policy Gradient for Continuing Tasks in Non-stationary Markov Decision Processes [112.38662246621969]
  強化学習は、マルコフ決定プロセスにおいて期待される累積報酬を最大化するポリシーを見つけることの問題を考える。 我々は、ポリシーを更新するために上昇方向として使用する値関数の偏りのないナビゲーション勾配を計算する。 ポリシー勾配型アルゴリズムの大きな欠点は、定常性の仮定が課せられない限り、それらがエピソジックなタスクに限定されていることである。
  論文  参考訳（メタデータ） (2020-10-16T15:15:42Z)
• Strictly Batch Imitation Learning by Energy-based Distribution Matching [104.33286163090179]
  すなわち、強化信号へのアクセスがなく、遷移力学の知識がなく、環境とのさらなる相互作用もない。 1つの解決策は、既存のアルゴリズムをオフライン環境で動作させるために、見習いの学習に適合させることである。 しかし、このようなアプローチは、政治外の評価やオフラインモデルの推定に大きく依存しており、間接的で非効率である可能性がある。 優れたソリューションは、ポリシーを明示的にパラメータ化し、ロールアウトダイナミクスから暗黙的に学習し、完全にオフラインで運用できるべきだ、と私たちは主張する。
  論文  参考訳（メタデータ） (2020-06-25T03:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。