論文の概要: QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.34497v1
• Date: Mon, 28 Sep 2026 07:45:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:59:38.585261
• Title: QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning
• Title（参考訳）: QAMM: オフライン強化学習のための随伴平均フローマッチング
• Abstract要約: 随伴マッチングは、サンプリング軌道をバックプロパゲートすることなく、フローポリシーを改善することができる。 本稿では,批評家からの随伴信号をMeanFlowの平均速度の監視に変換するQAMMを提案する。
• 参考スコア（独自算出の注目度）: 33.69260438500891
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow policies can model rich action distributions, but their iterative sampling limits decision speed. Adjoint matching uses the critic's action gradient to improve a flow policy without backpropagating through its sampling trajectory, yet its supervision is defined for instantaneous velocities. We propose QAMM, a method that turns the critic-derived adjoint signal into supervision for MeanFlow's average velocity. The resulting policy learns finite-interval transport directly and generates actions with few network evaluations. We derive the adjoint MeanFlow target, specify its gradient boundaries, and train it with an offline actor-critic. On ten HumanoidMaze tasks, QAMM produces effective two-call policies and achieves competitive performance against strong flow-policy baselines. These results show that adjoint-based Q optimization can be combined with average-velocity learning to obtain expressive offline policies with few-step action generation.
• Abstract（参考訳）: フローポリシーはリッチなアクション分布をモデル化できるが、反復サンプリングによって決定速度が制限される。 随伴マッチングは、批評家の行動勾配を用いて、サンプリング軌道を逆伝播することなくフローポリシーを改善するが、その監督は即時速度で定義される。 本稿では,批評家からの随伴信号をMeanFlowの平均速度の監視に変換するQAMMを提案する。 得られたポリシーは、有限間隔輸送を直接学習し、ネットワーク評価の少ないアクションを生成する。 随伴するMeanFlowターゲットを導出し、その勾配境界を指定し、オフラインアクタ-クリティカルでトレーニングします。 10のHumanoidMazeタスクにおいて、QAMMは効果的な2コールポリシーを生成し、強力なフローポリチックベースラインに対する競合性能を達成する。 これらの結果から,随伴型Q最適化と平均速度学習を組み合わせることで,数ステップのアクション生成を伴う表現的オフラインポリシが得られることがわかった。

関連論文リスト

• QPILOTS: Efficient Test-Time Q-Steering for Flow Policies [20.217020870532686]
  QPILOTSは、元のポリシーを変更せずに、推論時にデノナイジングプロセスを操る方法である。 標準のオフライン-オンラインRLベンチマークでは、QPILOTSが最高の集計性能を達成し、50タスクで平均90%の成功率に達する。
  論文  参考訳（メタデータ） (2026-06-11T18:22:03Z)
• Score-Based One-step MeanFlow Policy Optimization [4.94481688445056]
  MeanFlowは、単一のネットワーク評価でノイズをデータにマップする平均速度場を学ぶことで、有望な代替手段を提供する。 本稿では,Q関数から直接目標速度場を構築することで,これを解決するアクタークリティカルなアルゴリズムであるScore-based One-step MeanFlow Policy Optimization (SOM)を提案する。 SOMは、単一生成ステップで移動タスクの最先端のパフォーマンスを達成し、事前拡散およびフローマッチングベースのポリシーと比較して、トレーニング時間と推論時間を著しく短縮する。
  論文  参考訳（メタデータ） (2026-05-22T08:28:51Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation [65.13627721310613]
  平均速度ポリシー(MVP)は、平均速度場をモデル化し、最速のワンステップアクション生成を実現するための新しい生成ポリシー関数である。 MVPはRoomimicとOGBenchのいくつかの困難なロボット操作タスクに対して、最先端の成功率を達成する。
  論文  参考訳（メタデータ） (2026-02-14T14:44:06Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)
• One-Step Generative Policies with Q-Learning: A Reformulation of MeanFlow [56.13949180229929]
  ノイズを直接行動にマッピングするオフライン強化学習のための一段階の生成ポリシーを,MeanFlowの残留的な再構成を通じて導入する。 本手法はオフライン・オフライン両方の強化学習環境において高い性能を実現する。
  論文  参考訳（メタデータ） (2025-11-17T06:34:17Z)
• SAC Flow: Sample-Efficient Reinforcement Learning of Flow-Based Policies via Velocity-Reparameterized Sequential Modeling [9.936731043466699]
  多段階アクションサンプリングプロセスの勾配が原因で,非政治強化学習による表現型フローベース政策の訓練が不安定であることが知られている。 フローロールアウトはリカレント計算に代数的に等価であり、RNNと同様の消滅や爆発的な勾配に影響を受けやすい。 我々は,これらのポリシーのエンドツーエンドのトレーニングを容易にする,ノイズ強化ロールアウトによって実現された実用的なSACベースのアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-09-30T04:21:20Z)
• One-Step Flow Policy Mirror Descent [52.31612487608593]
  Flow Policy Mirror Descent (FPMD)は、フローポリシー推論中の1ステップのサンプリングを可能にするオンラインRLアルゴリズムである。 本手法は, 直流整合モデルにおける単段サンプリングの分散分散と離散化誤差の理論的関係を利用する。
  論文  参考訳（メタデータ） (2025-07-31T15:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。