論文の概要: Beyond In-Distribution Preservation: Recovering Generalization in Quantized VLAs via Vulnerability-Oriented Tuning

• arxiv url: http://arxiv.org/abs/2610.05745v1
• Date: Mon, 05 Oct 2026 03:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 04:43:27.59083
• Title: Beyond In-Distribution Preservation: Recovering Generalization in Quantized VLAs via Vulnerability-Oriented Tuning
• Title（参考訳）: In-Distribution Preservationを超えて: 脆弱性指向チューニングによる量子化VLAの一般化の回復
• Abstract要約: 環境障害下における後VLA政策の堅牢性と一般化を系統的に研究する。 その結果, 定量化政策は, 同等の分配性能を維持しつつも, 微妙な環境変動に対して脆弱になる可能性が示唆された。 脆弱性を意識したオン・ポリシィ蒸留フレームワークであるPIVOT-Qを提案する。
• 参考スコア（独自算出の注目度）: 9.421111448457154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training quantization has been shown to preserve VLA performance under standard evaluation conditions, but whether it preserves the full-precision model's robustness and generalization remains underexplored. In this study, we systematically study the robustness and generalization of post-quantized VLA policies under environmental disturbances. Empirical results show that quantized policies can become fragile to subtle environmental variations despite retaining comparable in-distribution performance. We further observe that action discrepancies are concentrated in a small subset of rollout states, while teacher guidance has opposite effects depending on discrepancy: it improves generalization at high-discrepancy states but can degrade it at low-discrepancy states. These findings reveal that effective post-quantization recovery requires selectively intervening on vulnerable states rather than globally distilling the student. We therefore propose Policy-Induced Vulnerability-Oriented Tuning (PIVOT-Q), a vulnerability-aware On-Policy Distillation (OPD) framework that selectively corrects vulnerable states encountered during quantized-student rollouts using the frozen full-precision policy as a teacher. PIVOT-Q identifies vulnerable states using discounted accumulated discrepancies over a short horizon, applies phase-balanced sparse supervision, and uses a Behavioral Anchor to prevent unnecessary changes. Experiments under seven LIBERO-Plus environmental variations demonstrate consistent recovery across multiple VLA backbones and quantization methods. Notably, PIVOT-Q consistently outperforms full-state distillation across all settings while using only 7.4% of its state-level distillation budget. Our code is available at https://github.com/ruanruan-andy/PIVOT-Q.
• Abstract（参考訳）: トレーニング後の量子化は、標準評価条件下ではVLA性能を維持することが示されているが、それが完全精度モデルの堅牢性や一般化を保っているかどうかはまだ未定である。 本研究では,環境変動下におけるポスト量子化VLA政策の堅牢性と一般化を系統的に研究する。 実証実験の結果, 定量化政策は, 同等の分配性能を維持しつつも, 微妙な環境変動に対して脆弱になる可能性が示唆された。 さらに,行動の相違がロールアウト状態の小さな部分に集中しているのに対して,教師の指導は相違によって逆の効果を持つ。 これらの結果から, 学生をグローバルに蒸留するのではなく, 脆弱な状態に選択的に介入することが示唆された。 そこで本研究では,教師として凍結された完全精度ポリシを用いて,量子化された学生ロールアウト時に発生する脆弱性を選択的に補正する,脆弱性を意識したオン・ポリシィ蒸留(OPD)フレームワークであるPIVOT-Qを提案する。 PIVOT-Qは、短時間の地平線上で累積差分を用いて脆弱な状態を特定し、位相バランスのスパース監視を適用し、不必要な変化を防ぐために行動アンカーを使用する。 7つのLIBERO-Plus環境変動下での実験では、複数のVLAバックボーンと量子化法が一貫した回復を示した。 特に、PIVOT-Qは州レベルの蒸留予算の7.4%しか使用せず、全ての設定で完全に全州蒸留を上回っている。 私たちのコードはhttps://github.com/ruanruan-andy/PIVOT-Q.comで公開されています。

関連論文リスト

• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening [59.760642080660695]
  大規模言語モデルの強化学習において、PPO(Proximal Policy Optimization)は一般に、状態値の見積とポリシー更新のばらつきの軽減に批判を用いる。 PPO批判者には,バリューフラットニング(Value Flattening)と呼ばれる,系統的な障害モードが発見されました。 応答毎に3つの状態しか管理していないSP$3$Oは、バリューフレッテニングを緩和し、モデルのサイズや評価スイートをまたいだ学習ポリシーを一貫して改善できることを示す。
  論文  参考訳（メタデータ） (2026-09-16T14:15:24Z)
• Stabilizing On-Policy Distillation for MLLM Reasoning with Global Normalization [9.860371691501076]
  オンライン蒸留(OPD)がポストトレーニングの重要なパラダイムとして最近登場した。 我々は,生のKLスコアをバッチレベルの相対的優位性に変換することで最適化を安定化する実用的な方法として,グローバル正規化蒸留政策最適化(GNDPO)を提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:41:31Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level [23.59808224440603]
  オンライン蒸留(OPD)は、トークンレベルの教師のフィードバックで生徒を自身の軌道で訓練する。 その標準的優位重み付け政策勾配は、高分散更新、ゼロアドバンテージ領域での勾配の消失、補正信号が不十分な場合の探索ボトルネックなどの3つの構造的弱点に悩まされている。 正の強化学習を保ちつつ,非正の負の強化を非正の利得領域における局所的な発散最小化に置き換える非対称オンポリシィ蒸留(AOPD)を提案する。
  論文  参考訳（メタデータ） (2026-05-07T15:02:49Z)
• AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning [13.721410595245894]
  国家依存割引は概念的には魅力的だが、真に深いアクター-批判的な実装は、TDエラーの崩壊に向かって退化することができる。 AdaGammaは、状態依存割引の実践的ディープアクター批判的手法であり、状態依存割引関数をリターン整合性目標とともに学習する。
  論文  参考訳（メタデータ） (2026-05-07T12:42:46Z)
• EVPO: Explained Variance Policy Optimization for Adaptive Critic Utilization in LLM Post-Training [69.32453275232662]
  学習した評論家は、利点のばらつきを減らさずに、取得した状態信号を超える推定ノイズを注入できることを示す。 本稿では,各トレーニングステップでバッチレベルのEVを監視し,批判ベースとバッチ平均の利点推定を適応的に切り替えるEVPOを提案する。
  論文  参考訳（メタデータ） (2026-04-21T14:07:39Z)
• Anchored Policy Optimization: Mitigating Exploration Collapse Via Support-Constrained Rectification [14.911955979675772]
  我々は,グローバルな形状マッチングからサポートカバレッジへパラダイムをシフトさせるアンコレッドポリシー最適化(APO)を提案する。 APOは精度と多様性のトレードオフを破り、Pass@1を大幅に改善します。
  論文  参考訳（メタデータ） (2026-02-05T14:41:57Z)
• Hallucinated Adversarial Control for Conservative Offline Policy Evaluation [64.94009515033984]
  本研究では,環境相互作用のオフラインデータセットが与えられた場合,政策のパフォーマンスを低く抑えることを目的とした,保守的非政治評価(COPE)の課題について検討する。 本稿では,遷移力学の不確実性を考慮した学習モデルに基づくHAMBOを紹介する。 結果のCOPE推定値が妥当な下界であることを証明し、正則性条件下では、真に期待された戻り値への収束を示す。
  論文  参考訳（メタデータ） (2023-03-02T08:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。