論文の概要: QF3: Fast Flow RL with Filtered Q-Gradients
- arxiv url: http://arxiv.org/abs/2610.08789v1
- Date: Tue, 06 Oct 2026 17:59:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.180558
- Title: QF3: Fast Flow RL with Filtered Q-Gradients
- Title（参考訳）: QF3:フィルタQ勾配を用いた高速流れRL
- Abstract要約: 本稿では,QF3(Fast Flow RL with Filtered Q-Gradients)を提案する。
我々の知る限り、QF3は人型移動ポリシーをスクラッチからトレーニングし、ゼロショットからハードウェアに転送する最初のオフポリティクスフローRL手法である。
- 参考スコア（独自算出の注目度）: 77.80503457708545
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flow policies have become a standard policy class for learning robot behaviors from demonstrations, but reinforcement learning is still critical for improving pre-trained flow policies or learning them from scratch through interaction. We introduce QF3 (Fast Flow RL with Filtered Q-Gradients), an online off-policy RL algorithm that trains a flow policy with flow matching plus the critic's action gradient, backpropagated through a one-step prediction of the flow's output. To keep updates where the critic and this prediction are reliable, QF3 applies the critic gradient only to action dimensions that stay near the replay action. To our knowledge, QF3 is the first off-policy flow RL method to train humanoid locomotion policies from scratch and transfer them zero-shot to hardware. Paired with a high-throughput off-policy training recipe, it trains humanoid locomotion and motion-tracking policies with a 10x wall-clock speedup over FPO++, a recent on-policy flow RL method. We further apply QF3 to fine-tune pretrained flow-based manipulation policies on both ABC-Sim and Robomimic tasks. These results suggest that QF3 can both learn robot policies from scratch and refine those acquired from demonstrations. Website: https://qf3-rl.github.io/
- Abstract（参考訳）: フローポリシーは、デモからロボットの動作を学ぶための標準的なポリシークラスになっているが、強化学習は、トレーニング済みのフローポリシーを改善するためにも、インタラクションを通じてそれらをスクラッチから学ぶためにも、依然として重要である。
QF3(Fast Flow RL with Filtered Q-Gradients)は,フローマッチングと批評家の行動勾配を併用したフローポリシーをトレーニングし,フローのアウトプットの1ステップ予測によって逆伝搬するオンラインオフポリチックRLアルゴリズムである。
批評家とこの予測が信頼できる更新を維持するため、QF3はリプレイアクションの近くに留まるアクションディメンションにのみ、批評家の勾配を適用している。
我々の知る限り、QF3は人型移動ポリシーをスクラッチからトレーニングし、ゼロショットからハードウェアに転送する最初のオフポリティクスフローRL手法である。
高スループットのオフ・ポリティクス・トレーニング・レシピによって、最近のオン・ポリティクス・フローRL法であるFPO++よりも10倍の速度で、ヒューマノイド・ロコモーションとモーショントラッキング・ポリシーをトレーニングする。
さらに,ABC-Sim と Robomimic の両タスクに対して,事前学習したフローベースの操作ポリシーを微調整するQF3を適用した。
これらの結果は、QF3がロボットポリシーをスクラッチから学習し、デモから得たものを洗練することができることを示唆している。
ウェブサイト:https://qf3-rl.github.io/
関連論文リスト
- QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning [33.69260438500891]
随伴マッチングは、サンプリング軌道をバックプロパゲートすることなく、フローポリシーを改善することができる。
本稿では,批評家からの随伴信号をMeanFlowの平均速度の監視に変換するQAMMを提案する。
論文 参考訳（メタデータ） (2026-09-28T07:45:24Z) - Reversal Q-Learning [57.43956630070019]
逆Q-ラーニング(Reversal Q-learning)は、事前データに基づいてフローポリシーをトレーニングする、非政治的なRLアルゴリズムである。
RQLは、最先端のフローベースオフラインRLアルゴリズムと比較して、平均的なオフラインRLパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2026-06-16T05:56:10Z) - Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。
FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。
FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
論文 参考訳（メタデータ） (2026-05-12T17:12:29Z) - One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。
本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
論文 参考訳（メタデータ） (2025-11-17T06:34:17Z) - Flow Q-Learning [61.60383927357656]
簡単なオフライン強化学習(RL)手法であるフローQ-ラーニング(FQL)を提案する。
FQLは、値を最大化するイテレーティブフローポリシを直接指導するのではなく、表現力のあるワンステップポリシをRLでトレーニングする。
FQLは73の州およびピクセルベースのOGBenchタスクとD4RLタスクに強いパフォーマンスをもたらすことを実験的に示す。
論文 参考訳（メタデータ） (2025-02-04T18:04:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。