論文の概要: Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies

• arxiv url: http://arxiv.org/abs/2609.34944v1
• Date: Mon, 28 Sep 2026 11:37:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:31:49.927181
• Title: Adjoint Guidance Flow: Amortized Critic Guidance for VLA Policies
• Title（参考訳）: 随伴誘導流:VLA政策に対する暗黙の批判誘導
• Abstract要約: 本稿では,トラジェクティブ・アウェア・批評家の指導を軽量な指導ネットワークに補正する随伴誘導流を提案する。 AGFは、ガイダンス毎に3.6times$高速で、7.0times$より少ないパラメータで、同等で、パフォーマンスも向上している。
• 参考スコア（独自算出の注目度）: 49.96302515333647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Flow-based Vision-Language-Action (VLA) policies are typically trained by behavior cloning and thus do not explicitly optimize long-term task return. Critic guidance steers generation toward higher-value actions, but existing methods differentiate the critic through a one-step surrogate of the sampler and back-propagate a critic ensemble at every flow step. In contrast, here we propose Adjoint Guidance Flow (AGF), which amortizes trajectory-aware critic guidance into a lightweight guidance network while preserving the pretrained VLA policy. Specifically, we formulate critic-guided flow generation as a deterministic optimal control problem, whose optimal guidance is a costate that carries the terminal critic gradient back through the remaining flow, and regress the guidance network onto this costate while keeping both the VLA and critic frozen. This design provides favorable memory and throughput scaling during training, and inference needs one guidance-network forward pass per step, without the critic ensemble, back-propagation, or adjoint computation. Across LIBERO, RoboCasa, and LIBERO-Pro, AGF consistently improves pretrained VLAs, remains competitive with critic-guidance and policy-fine-tuning baselines, and is the most robust method when a single guidance strength is deployed across tasks. Compared with QGF, AGF runs $3.6\times$ faster per guidance step with $7.0\times$ fewer parameters, with comparable and even better performance, showing that critic guidance can be trajectory-aware and lightweight.
• Abstract（参考訳）: フローベースのVision-Language-Action(VLA)ポリシは、通常、振る舞いのクローンによってトレーニングされるため、長期的なタスクリターンを明示的に最適化することはない。 批判指導はより高価値な行動に向けて生成するが、既存の手法では、サンプルの1ステップのサロゲートを通じて批評家を区別し、全てのフローステップで批評家のアンサンブルをバックプロパゲートする。 対照的に,本稿では,事前学習したVLAポリシーを保ちつつ,トラジェクトリ・アウェア・批評家の指導を軽量なガイダンスネットワークに補正する随伴ガイダンスフロー(AGF)を提案する。 具体的には,批判誘導流の発生を決定論的最適制御問題として定式化し,その最適誘導は端末の批判勾配を残りの流れに戻すコストであり,VLAと批評家の双方を凍結させながら誘導網をこのコストに回帰させる。 この設計は、トレーニング中に好ましいメモリとスループットのスケーリングを提供し、推論は、批評家のアンサンブル、バックプロパゲーション、または随伴計算なしで、ステップ毎に1つのガイダンス-ネットワークフォワードパスを必要とする。 LIBERO、RoboCasa、LIBERO-Pro全体では、AGFはトレーニング済みのVLAを継続的に改善し、批判的ガイダンスとポリシーを微調整するベースラインと競争し続けている。 QGFと比較すると、AGFは誘導1歩あたり3.6\times$速く、パラメータは7.0\times$少ない。

関連論文リスト

• PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
  ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。 既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。 本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T04:04:32Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning [50.738952715864116]
  表現的連続制御ポリシは、シミュレーションされた実ロボット制御のための模倣学習のスケーリングにおける進歩のバックボーンを形成する。 テスト時に完全にポリシー最適化を行うRLアルゴリズムであるQGF(Q-Guided Flow)を提案する。 実証的には、QGFはシングルタスクおよびゴール条件のオフラインRLベンチマークにおいて、以前のテスト時間RLメソッドよりも優れている。
  論文  参考訳（メタデータ） (2026-06-09T16:45:57Z)
• Q-VGM: Q-Guided Value-Gradient Matching for Flow-Matching VLA Policies [14.519898493996891]
  本稿では,Q-Guided Value-Gradient Matching (Q-VGM) を法外強化学習(RL)法として提案する。 Q-VGMは、生成モデルにおけるフローアライメントの値勾配ビューであるVGG-Flowを活用することで問題を回避している。 LIBEROでは、Q-VGMが75.0%から92.5%に、RoboTwin 2.0では76.4%から87.2%に、実際の2つのテーブルトップタスクでは40.0%から67.5%に上昇している。
  論文  参考訳（メタデータ） (2026-06-06T07:10:25Z)
• FlowPRO: Reward-Free Reinforced Fine-Tuning of Flow-Matching VLAs via Proximalized Preference Optimization [15.427278126226662]
  FlowPROは、フローマッチングポリシーのための報酬なし、オフラインで強化された微調整フレームワークである。 本稿では,VLAモデルのフローマッチング動作ヘッドに適した優先最適化対象であるRPROを提案する。 FlowPROは最高成功率に達し、4つの代表的なベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-06-03T21:47:43Z)
• Potential-Guided Flow Matching for Vision-Language-Action Policy Improvement [27.695600755960736]
  自己誘導型フローマッチングポリシであるForesightFlowを紹介した。 それぞれの生成されたアクションチャンクを、学習された成功可能性軌道で拡張する。 候補アクションをスコア付けし、外部の批評家なしで$K$の推論を可能にする。
  論文  参考訳（メタデータ） (2026-06-03T14:49:35Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Q-learning with Adjoint Matching [58.78551025170267]
  本稿では,新しいTD-based reinforcement learning (RL)アルゴリズムであるAdjoint Matching (QAM) を用いたQ-learningを提案する。 QAMは、最近提案された生成モデリング手法であるadjoint matchingを活用することで、2つの課題を回避している。 オフラインとオフラインの両方のRLにおいて、ハードでスパースな報酬タスクに対する従来のアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-01-20T18:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。