論文の概要: SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling

• arxiv url: http://arxiv.org/abs/2509.25756v1
• Date: Tue, 30 Sep 2025 04:21:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.42354
• Title: SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling
• Title（参考訳）: SACフロー:速度分離シーケンスモデリングによるフローベース政策のサンプル効率向上学習
• Authors: Yixian Zhang, Shu'ang Yu, Tonghe Zhang, Mo Guang, Haojia Hui, Kaiwen Long, Yu Wang, Chao Yu, Wenbo Ding,
• Abstract要約: 多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
• 参考スコア（独自算出の注目度）: 9.936731043466699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training expressive flow-based policies with off-policy reinforcement learning is notoriously unstable due to gradient pathologies in the multi-step action sampling process. We trace this instability to a fundamental connection: the flow rollout is algebraically equivalent to a residual recurrent computation, making it susceptible to the same vanishing and exploding gradients as RNNs. To address this, we reparameterize the velocity network using principles from modern sequential models, introducing two stable architectures: Flow-G, which incorporates a gated velocity, and Flow-T, which utilizes a decoded velocity. We then develop a practical SAC-based algorithm, enabled by a noise-augmented rollout, that facilitates direct end-to-end training of these policies. Our approach supports both from-scratch and offline-to-online learning and achieves state-of-the-art performance on continuous control and robotic manipulation benchmarks, eliminating the need for common workarounds like policy distillation or surrogate objectives.
• Abstract（参考訳）: 多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 これを解決するために、現代の逐次モデルからの原理を用いてベロシティネットワークを再パラメータ化し、ゲート速度を組み込んだFlow-Gとデコードされたベロシティを利用するFlow-Tという2つの安定したアーキテクチャを導入する。 そこで我々は,これらのポリシのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現可能な,実用的なSACベースのアルゴリズムを開発した。 当社のアプローチは,オンライン学習とオフライン学習の両方をサポートし,継続的制御とロボット操作ベンチマークの最先端性能を実現し,政策蒸留やサロゲート目的といった一般的な回避策の必要性を排除している。

関連論文リスト

• One-Step Flow Policy Mirror Descent [38.39095131927252]
  Flow Policy Mirror Descent (FPMD)は、ポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Relative Entropy Pathwise Policy Optimization [66.03329137921949]
  そこで本稿では,Q値モデルをオンライントラジェクトリから純粋に訓練するオンラインアルゴリズムを提案する。 安定トレーニングのための制約付き更新と探索のためのポリシを組み合わせる方法を示し、価値関数学習を安定化させる重要なアーキテクチャコンポーネントを評価する。
  論文  参考訳（メタデータ） (2025-07-15T06:24:07Z)
• ContinualFlow: Learning and Unlearning with Neural Flow Matching [13.628458744188325]
  本研究では、フローマッチングによる生成モデルにおける目標未学習のための原則的フレームワークであるContinualFlowを紹介する。 本手法では,スクラッチからのトレーニングやサンプルへの直接アクセスを必要とせずに,エネルギーによる再加重損失を利用して,データ分布の不要領域をソフトに減算する。
  論文  参考訳（メタデータ） (2025-06-23T15:20:58Z)
• Flow-Based Policy for Online Reinforcement Learning [34.86742824686496]
  FlowRLは、フローベースのポリシー表現とWasserstein-2正規化最適化を統合する、オンライン強化学習のためのフレームワークである。 オンライン強化学習ベンチマークにおいて,FlowRLが競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2025-06-15T10:53:35Z)
• Online Reward-Weighted Fine-Tuning of Flow Matching with Wasserstein Regularization [14.320131946691268]
  本稿では,フローベース生成モデルのための,使いやすく,理論的に健全な微調整法を提案する。 提案手法は,オンライン報酬重み付け機構を導入することにより,データ多様体内の高次領域の優先順位付けをモデルに導出する。 本手法は,報酬と多様性のトレードオフを制御可能とし,最適な政策収束を実現する。
  論文  参考訳（メタデータ） (2025-02-09T22:45:15Z)
• Reachable Polyhedral Marching (RPM): An Exact Analysis Tool for Deep-Learned Control Systems [11.93664682521114]
  我々は、rerectified Unit (ReLU) アクティベーションを備えたフィードフォワードニューラルネットワークに注目した。 本稿では,アフィン領域の増分および連結を利用したROA計算アルゴリズムを提案する。 最後に,航空機の滑走路制御問題に対する画像ベース制御器によって安定化された状態の集合を見つけるために,本手法を適用した。
  論文  参考訳（メタデータ） (2022-10-15T17:15:53Z)
• Guaranteed Conservation of Momentum for Learning Particle-based Fluid Dynamics [96.9177297872723]
  本稿では,学習物理シミュレーションにおける線形運動量を保証する新しい手法を提案する。 我々は、強い制約で運動量の保存を強制し、反対称的な連続的な畳み込み層を通して実現する。 提案手法により,学習シミュレータの物理的精度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2022-10-12T09:12:59Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
  我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。 本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
  論文  参考訳（メタデータ） (2021-06-17T02:40:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。