論文の概要: Q-Learning with Scalar Adjoint Matching

• arxiv url: http://arxiv.org/abs/2610.10437v1
• Date: Wed, 07 Oct 2026 17:13:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.069751
• Title: Q-Learning with Scalar Adjoint Matching
• Title（参考訳）: Scalar Adjoint MatchingによるQ-Learning
• Abstract要約: 学習した値関数に対してフローポリシーを微調整するのは簡単ではない。 本稿では,スカラーアジョイントと値ペナルティを組み合わせたScalar Adjoint Matching (SQAM) を用いたQラーニングを提案する。 SQAMのゲインは最も厳しい4つのOGBenchドメインに集中しており、成功率は各ドメインで最強のベースラインを18から35ポイント上回っている。
• 参考スコア（独自算出の注目度）: 43.53901180563299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Flow policies capture rich and diverse action distributions, and fine-tuning them with off-policy RL to improve beyond the demonstrations has drawn growing interest. However, fine-tuning a flow policy against a learned value function is not trivial, because the policy generates its action over many flow steps. Adjoint matching offers a principled way to update the flow model itself by propagating value information from the final action back to each flow step, but it requires a vector--Jacobian product through the policy at every step, a cost that grows with the number of flow steps and the policy size. We observe that the batch-averaged velocity Jacobian of pretrained flow policies concentrates on its diagonal. Motivated by this finding, we derive a closed-form scalar adjoint that scales the value gradient at the final action by the flow time, eliminating the per-step vector--Jacobian products. We further find that controlling the critic's value at policy-generated actions is particularly important under the scalar adjoint. Based on these findings, we propose Q-learning with Scalar Adjoint Matching (SQAM), which combines the scalar adjoint with a value penalty at those actions. SQAM's gains concentrate on the four hardest OGBench domains, where its success rate exceeds that of the strongest baseline in each domain by 18 to 35 percentage points. To test whether SQAM extends to large pretrained policies, we also fine-tune a vision-language-action policy on a real bimanual robot. SQAM improves over supervised fine-tuning on all three tasks.
• Abstract（参考訳）: フローポリシーは多様かつ多様な行動分布を捉え、デモを超えて改善するための政治外のRLを微調整することで、関心が高まっている。 しかし、学習した値関数に対してフローポリシーを微調整するのは簡単ではない。 随伴マッチングは、最終アクションから各フローステップに価値情報を伝達することで、フローモデル自体を更新する原則的な方法を提供するが、各ステップにおけるポリシー、フローステップの数とポリシーサイズに応じて増加するコストによって、ベクトル-ヤコビアン製品が必要である。 プレトレーニングフローポリシのバッチ平均速度ヤコビアンが対角線に集中していることが観察された。 この発見により、フロータイムによって最終動作における値勾配を拡大し、ステップごとのベクトル-ヤコビアン積を除去する閉形式のスカラー共役を導出する。 さらに、スカラー随伴の下で、政策生成行動における批評家の価値の制御が特に重要であることが判明した。 これらの結果に基づいて,スカラーアジョイントと値ペナルティを組み合わせたスカラーアジョイントマッチング(SQAM)を用いたQラーニングを提案する。 SQAMの利益は最も厳しい4つのOGBenchドメインに集中しており、その成功率は各ドメインで最強のベースラインを18から35ポイント上回っている。 SQAMが事前訓練済みの政策に拡張されるかどうかをテストするため、実際のバイマンダルロボットに視覚言語アクションポリシーを微調整する。 SQAMは3つのタスクの教師付き微調整を改善する。

関連論文リスト

• QAMM: Adjoint MeanFlow Matching for Few-Step Offline Reinforcement Learning [33.69260438500891]
  随伴マッチングは、サンプリング軌道をバックプロパゲートすることなく、フローポリシーを改善することができる。 本稿では,批評家からの随伴信号をMeanFlowの平均速度の監視に変換するQAMMを提案する。
  論文  参考訳（メタデータ） (2026-09-28T07:45:24Z)
• Stochastic MeanFlow Policies: One-Step Generative Control with Entropic Mirror Descent [53.828537014796574]
  オンラインの非政治強化学習(RL)は、ポリシークラスと更新ルールの2つの選択肢によって構成されている。 我々は、MeanFlow変換を通じてノイズをアクションにマッピングする一段階生成ポリシークラスであるMeanFlow Policiesを提案する。 7つのMuJoCoベンチマークで、Sは1ステップの推論効率を維持しながら、ガウスおよび生成ベースラインを改善する。
  論文  参考訳（メタデータ） (2026-05-20T15:14:14Z)
• Aligning Flow Map Policies with Optimal Q-Guidance [50.514994916864275]
  フローマップポリシは、任意のサイズのジャンプを学習することで、高速なアクション生成のために設計されている。 FLOW MAP Q-GUIDANCE (FMQ) は, 批判誘導型信頼領域制約の下でオフラインフローマップポリシーを適用するのに最適な, 原則付きクローズドフォーム学習ターゲットである。 FMQは、オフラインからオフラインまでのRLにおける最先端のパフォーマンスを達成し、平均成功率に対して21.3%の相対的な改善により、以前のワンステップポリシーMVPを上回っている。
  論文  参考訳（メタデータ） (2026-05-12T17:12:29Z)
• A Single Deep Preference-Conditioned Policy for Learning Pareto Coverage Sets [0.4369550829556578]
  非線形スカラー化下での優先-解決対応の特異性と連続性について検討した。 この問題を解決するために,スムーズなTchebycheffスカラー化を単調な効用として用いた。 各更新は、以前のポリシーを参考に、Kullback-Leibler-regularized MDPの解決と等価であることを示す。
  論文  参考訳（メタデータ） (2026-05-09T13:35:50Z)
• Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning [10.037416068775853]
  本稿では,多段階フローマッチングポリシと蒸留ワンステップアクタを結合したガイドフローポリシーを提案する。 アクターは、重み付けされた振る舞いのクローンを通じてフローポリシーを指示し、データセットから高価値なアクションのクローンに集中する。 この相互誘導により、GFPは144の状態およびピクセルベースのタスクで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2025-12-03T17:05:58Z)
• Quantile Filtered Imitation Learning [49.11859771578969]
  量子フィルタ模倣学習(QFIL)は、オフライン強化学習用に設計されたポリシー改善演算子である。 我々はQFILが機能近似による安全なポリシー改善のステップを提供することを証明した。 QFILはD4RLベンチマークでよく機能します。
  論文  参考訳（メタデータ） (2021-12-02T03:08:23Z)
• Offline Reinforcement Learning with Implicit Q-Learning [85.62618088890787]
  現行のオフライン強化学習手法では、トレーニング中に見つからない行動の価値を問い合わせて、ポリシーを改善する必要がある。 本稿では,データセット外の動作を評価する必要のないオフラインRL手法を提案する。 この方法により、学習したポリシーは、一般化によってデータの最良の振る舞いを大幅に改善することができる。
  論文  参考訳（メタデータ） (2021-10-12T17:05:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。