論文の概要: Fast and Highly Expressive Policy Learning for Offline Reinforcement Learning via Bootstrapped Flow Q-Learning

• arxiv url: http://arxiv.org/abs/2606.10613v1
• Date: Tue, 09 Jun 2026 09:12:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.414353
• Title: Fast and Highly Expressive Policy Learning for Offline Reinforcement Learning via Bootstrapped Flow Q-Learning
• Title（参考訳）: ブートストラップ型フローQ-ラーニングによるオフライン強化学習のための高速かつ高表現型ポリシー学習
• Authors: Thanh Nguyen, Tri Ton, Hongbin Choe, Tung M. Luu, Chang D. Yoo,
• Abstract要約: Bootstrapped Flow Q-Learning(BFQ)は、トレーニングと推論の両方で正確なシングルステップアクション生成を可能にする、新しいフレームワークである。 マルチステップの denoising を排除し、学習手順が大幅に高速で、よりシンプルで、より堅牢になる。 大規模なD4RL評価の結果,BFQは計算コストを大幅に削減し,性能を向上した。
• 参考スコア（独自算出の注目度）: 27.992471782191014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based Q-learning has emerged as a powerful paradigm for offline reinforcement learning, but its reliance on multi-step denoising makes both training and inference computationally expensive and brittle. Recent efforts to accelerate diffusion Q-learning toward single-step action generation typically introduce auxiliary networks, policy distillation, or multi-phase training, which frequently compromise simplicity, stability, or performance. To address these limitations, we introduce Bootstrapped Flow Q-Learning (BFQ), a novel framework that enables accurate single-step action generation during both training and inference, without auxiliary networks or distillation procedures. BFQ adopts a divide-and-conquer view of the displacement vector along the flow path: it begins by learning short-range displacements that can be accurately estimated from the Flow Matching marginal velocity, and bootstraps these components to directly learn a noise-to-action mapping in a single step. This formulation eliminates multi-step denoising, resulting in a learning procedure that is substantially faster, simpler, and more robust. Extensive D4RL evaluations show that BFQ improves performance while significantly reducing computational cost compared to multi-step diffusion baselines, demonstrating that single-step action generation suffices for high-performance offline Reinforcement Learning.
• Abstract（参考訳）: 拡散に基づくQ-ラーニングは、オフライン強化学習の強力なパラダイムとして登場したが、マルチステップのデノナイズに依存しているため、トレーニングと推論の両方が高価であり、脆弱である。 シングルステップアクション生成に向けた拡散Qラーニングを加速する最近の取り組みは、通常、補助的ネットワーク、政策蒸留、多段階トレーニングを導入し、単純さ、安定性、パフォーマンスをしばしば損なう。 これらの制約に対処するために,予備的なネットワークや蒸留処理を使わずに,トレーニングと推論の両方において,正確な単一ステップアクション生成を可能にする新しいフレームワークであるBootstrapped Flow Q-Learning(BFQ)を紹介した。 BFQはフローパスに沿った変位ベクトルの分割とコンカービューを採用し、フローマッチングの限界速度から正確に推定できる短距離変位を学習し、これらの成分をブートストラップして、単一ステップでノイズ・ツー・アクションマッピングを直接学習する。 この定式化は多段階の分極を排除し、より高速で、よりシンプルで、より堅牢な学習手順をもたらす。 大規模D4RL評価では,BFQは多段階拡散ベースラインに比べて計算コストを著しく低減し,高能率オフライン強化学習において単一ステップ動作生成が十分であることを示す。

関連論文リスト

• EFlow: Fast Few-Step Video Generator Training from Scratch via Efficient Solution Flow [52.73538517981873]
  EFlowは、ビデオ拡散トランスフォーマーのための効率的な数ステップのトレーニングフレームワークである。 Gated Local-Global Attentionはトークンドロップ可能なハイブリッドブロックである。 Path-Drop Guidedトレーニングは、高価なターゲットを計算的に安価で弱いパスに置き換える。
  論文  参考訳（メタデータ） (2026-03-28T02:06:55Z)
• Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
  本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。 我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。 我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
  論文  参考訳（メタデータ） (2026-02-04T08:59:57Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• MeanFlowSE: one-step generative speech enhancement via conditional mean flow [13.437825847370442]
  MeanFlowSEは、軌道に沿った有限区間の平均速度を学習する条件付き生成モデルである。 VoiceBank-DEMANDでは、シングルステップモデルは多ステップベースラインよりも計算コストが大幅に低い強い知性、忠実性、知覚品質を実現する。
  論文  参考訳（メタデータ） (2025-09-18T11:24:47Z)
• Revisiting Diffusion Q-Learning: From Iterative Denoising to One-Step Action Generation [34.007490094198424]
  Diffusion Q-Learning (DQL)は、オフライン強化学習の高性能パラダイムとして拡散ポリシーを確立している。 DQLを1段階のデノイングに向けて加速する現在の取り組みは、補助モジュールや政策蒸留に依存している。 One-Step Flow Q-Learning (OFQL)は、トレーニングと推論の両方で効果的なワンステップアクション生成を可能にする。
  論文  参考訳（メタデータ） (2025-08-19T15:05:55Z)
• Accelerating Diffusion Models in Offline RL via Reward-Aware Consistency Trajectory Distillation [88.4955839930215]
  オフライン強化学習のための新しい一貫性蒸留手法を提案する。 本手法は,高い性能と簡易なトレーニングを維持しつつ,単一ステップ生成を可能にする。
  論文  参考訳（メタデータ） (2025-06-09T14:48:19Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。