論文の概要: Compositional Average Velocity Modeling for Efficient Diffusion Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.14941v1
• Date: Sat, 10 Oct 2026 14:11:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 03:17:32.353448
• Title: Compositional Average Velocity Modeling for Efficient Diffusion Offline Reinforcement Learning
• Title（参考訳）: 効率的な拡散オフライン強化学習のための合成平均速度モデル
• Abstract要約: InsQLは、反復サンプリングとBPTTを排除しながら拡散モデルの表現能力を維持する単一のステップ生成ポリシー学習フレームワークである。 構成的平均速度モデリングと行動規則化アクター--批判的最適化を単一のフレームワークで統合する。 実験では、InsQLは最先端の拡散ベースのメソッドと一致またはオーバーし、トレーニングと推論時間の両方を大幅に削減する。
• 参考スコア（独自算出の注目度）: 27.69836316819818
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based policies have recently emerged as a powerful paradigm for offline reinforcement learning, but their reliance on multi-step denoising introduces substantial computational overhead and requires backpropagation through time during training, limiting scalability and practical deployment. In this work, we propose \textbf{Instant Flow Q-Learning (InsQL)}, a single-step generative policy learning framework that retains the expressive capacity of diffusion models while eliminating iterative sampling and BPTT. InsQL builds on the flow-matching perspective of diffusion policies, but replaces marginal velocity parameterization with \emph{average-velocity} modeling and introduces a principled compositional mechanism, yielding a theoretically grounded objective that learns average velocity consistently across scales. This formulation provides a direct noise-to-action mapping and enables single-step action generation. InsQL further unifies compositional average-velocity modeling with behavior-regularized actor--critic optimization in a single framework, requiring only a single policy network and avoiding distillation, multi-stage procedures, and Jacobian computations during training. At inference time, actions are generated in a single forward pass and can be refined via value-guided candidate selection to improve performance. Extensive experiments on standard offline RL benchmarks and real-world robotic manipulation tasks show that InsQL matches or surpasses state-of-the-art diffusion-based methods while substantially reducing both training and inference time. Overall, these results establish compositional average-velocity modeling as an efficient and scalable alternative to multi-step generative policies for offline RL.
• Abstract（参考訳）: 拡散ベースのポリシは、オフライン強化学習の強力なパラダイムとして最近登場したが、マルチステップのデノベーションへの依存は、かなりの計算オーバーヘッドをもたらし、トレーニング中の時間によるバックプロパゲーション、スケーラビリティの制限、実用的なデプロイメントを必要としている。 本研究では,拡散モデルの表現能力を維持しつつ,反復サンプリングやBPTTを排除した単一ステップ生成型政策学習フレームワークである「textbf{Instant Flow Q-Learning (InsQL)}を提案する。 InsQLは拡散政策のフローマッチングの観点から構築されているが、限界速度パラメータ化を 'emph{average-velocity} モデリングに置き換え、原理的な構成機構を導入し、平均速度をスケール全体にわたって一貫した平均速度を学習する理論的な基礎的な目的をもたらす。 この定式化は、直接ノイズ対アクションマッピングを提供し、単一ステップのアクション生成を可能にする。 InsQLはさらに、単一のポリシネットワークのみを必要とし、トレーニング中に蒸留やマルチステージプロシージャ、ヤコビアン計算を回避して、行動規則化アクターによる合成平均速度モデリングを単一のフレームワークに統合する。 推論時に、アクションは単一のフォワードパスで生成され、値誘導候補選択により洗練され、性能が向上する。 標準のオフラインRLベンチマークと実世界のロボット操作タスクに関する大規模な実験は、InsQLが最先端の拡散ベースの手法に適合または超過し、トレーニングと推論時間を大幅に短縮することを示している。 これらの結果から,オフラインRLの多段階生成ポリシーに代わる,効率的かつスケーラブルな合成平均速度モデルが確立された。

関連論文リスト

• Score-Based One-step MeanFlow Policy Optimization [4.94481688445056]
  MeanFlowは、単一のネットワーク評価でノイズをデータにマップする平均速度場を学ぶことで、有望な代替手段を提供する。 本稿では,Q関数から直接目標速度場を構築することで,これを解決するアクタークリティカルなアルゴリズムであるScore-based One-step MeanFlow Policy Optimization (SOM)を提案する。 SOMは、単一生成ステップで移動タスクの最先端のパフォーマンスを達成し、事前拡散およびフローマッチングベースのポリシーと比較して、トレーニング時間と推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2026-05-22T08:28:51Z)
• V-GRPO: Online Reinforcement Learning for Denoising Generative Models Is Easier than You Think [90.69263509098948]
  本稿では,ELBOをベースとしたサロゲートとグループ相対ポリシー最適化アルゴリズムを統合した変分GRPOを提案する。 V-GRPOはテキストと画像の合成において最先端のパフォーマンスを実現し、MixGRPOよりも2倍のスピードアップ、DiffusionNFTより3倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-04-25T17:03:21Z)
• Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation [65.13627721310613]
  平均速度ポリシー(MVP)は、平均速度場をモデル化し、最速のワンステップアクション生成を実現するための新しい生成ポリシー関数である。 MVPはRoomimicとOGBenchのいくつかの困難なロボット操作タスクに対して、最先端の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-14T14:44:06Z)
• Stabilizing Reinforcement Learning with LLMs: Formulation and Practices [61.361819972410046]
  本稿では,REINFORCEなどの政策勾配法において,真のシーケンスレベルの報酬を代用トークンレベルの目的によって最適化できる理由と条件を示す。 この洞察は、RLトレーニングの安定化において、広く採用されているいくつかのテクニックの重要な役割について、原則化された説明を提供する。
  論文  参考訳（メタデータ） (2025-12-01T07:45:39Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)
• Flow-Based Single-Step Completion for Efficient and Expressive Policy Learning [0.0]
  そこで本研究では,中間フローサンプルから直接完了ベクトルを予測するために,フローマッチングを改良した生成ポリシーを提案する。 我々の手法はオフライン、オフライン、オンラインのRL設定に効果的にスケールし、スピードと適応性を大幅に向上させる。 我々はSSCPをゴール条件付きRLに拡張し、フラットポリシーが明確な階層的推論なしでサブゴナル構造を活用できるようにする。
  論文  参考訳（メタデータ） (2025-06-26T16:09:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。