論文の概要: Does Adversarial Training Improve Generalization in Multi-View VLAs? Revealing and Mitigating View Collapse

• arxiv url: http://arxiv.org/abs/2609.33707v1
• Date: Sun, 27 Sep 2026 16:11:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:30:13.04826
• Title: Does Adversarial Training Improve Generalization in Multi-View VLAs? Revealing and Mitigating View Collapse
• Title（参考訳）: 対人訓練は多視点VLAの一般化を改善するか?
• Abstract要約: 逆行訓練(AT)は、個々のシフトを明示的に予測することなく、ロバストネスに対するモデル適応的なアプローチを提供する。 本研究では, 事前学習VLMから直接適応した多視点VLAを用いて, 7つのLIBERO-Plusシフト軸の一般化を評価する。 以上の結果から,多視点のロバスト性は相互依存の変化から改善された認識を分離する必要があること,そしてATは汎用的な分布シフトの利点よりも選択的に提供できることが示唆された。
• 参考スコア（独自算出の注目度）: 14.626999014803404
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Vision-language-action (VLA) models adapt pretrained vision-language models (VLMs) for closed-loop robot control, transferring their perceptual and semantic capabilities to action prediction. Despite strong in-distribution performance, however, VLAs often degrade under deployment shifts. Adversarial training (AT) offers a model-adaptive approach to robustness without explicitly anticipating individual shifts, but its effect on natural distribution-shift generalization in multi-view VLAs remains unclear. We study this question using a multi-view VLA directly adapted from a pretrained VLM and evaluate generalization across seven LIBERO-Plus shift axes. Direct AT substantially improves Camera Viewpoint and Sensor Noise, the two shifts affecting only the third-person view, yet produces mixed or negative effects on other shifts. Controlled view interventions reveal a surprising failure mode that we term view collapse: Direct AT can shift cross-view reliance so strongly that the policy becomes dominated by the wrist view. This exposes a \textit{robustness shortcut}: apparent robustness to a shifted view can arise from reduced use of that view rather than more robust perception of it. This motivates a distinction between robust perception, extracting reliable information under within-view shifts, and robust fusion, adapting reliance across views according to their reliability. To reduce fixed view reliance, we use a simple View Swap intervention and then re-evaluate AT. With View Swap, AT further improves Camera Viewpoint, Sensor Noise, and Robot Initial State, while its effects remain mixed on other shifts. Our results show that multi-view robustness requires separating improved perception from changes in cross-view reliance, and that AT provides selective rather than generic distribution-shift benefits.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、閉ループロボット制御に事前訓練された視覚言語モデル(VLM)を適用し、知覚と意味の能力を行動予測に伝達する。 しかしながら、分散性能は高いが、VLAは配置シフト時に劣化することが多い。 敵対的トレーニング(AT)は、個々のシフトを明示的に予測することなく、ロバストネスに対するモデル適応的なアプローチを提供するが、マルチビューVLAにおける自然分布シフトの一般化に対する効果は未だ不明である。 本研究では, 事前学習VLMから直接適応した多視点VLAを用いて, 7つのLIBERO-Plusシフト軸の一般化を評価する。 Direct ATは、カメラビューポイントとセンサーノイズを大幅に改善し、この2つのシフトは3人称ビューだけに影響を与えるが、他のシフトに混合または負の効果をもたらす。 コントロールされたビューの介入は、私たちがビューの崩壊と呼ぶ驚くべき失敗モードを明らかにします。 これは‘textit{robustness shortcut}’を公開する。 シフトビューに対する明らかなロバスト性は、それに対するロバストな認識よりも、そのビューの使用を減らすことから生じる可能性がある。 このことは、堅牢な知覚を区別し、ビュー内シフトの下で信頼できる情報を抽出し、信頼性に応じてビュー間の信頼を適応する、堅牢な融合を動機付けている。 固定ビュー依存を減らすため、簡単なビュースワップ介入を使用して、ATを再評価する。 View Swapでは、カメラビューポイント、センサーノイズ、ロボット初期状態がさらに改善され、他のシフトにはまだ影響が混在している。 以上の結果から,多視点のロバスト性は相互依存の変化から改善された認識を分離する必要があること,そしてATは汎用的な分布シフトの利点よりも選択的に提供できることが示唆された。

関連論文リスト

• Mitigating State Aliasing in Vision-Language-Action Models via Inverse Dynamics Learning [32.59795755994378]
  本稿では,VLA(Vision-Language-Action)視覚エンコーダを直接監督する補助目的として,逆ダイナミクス学習を導入する。 本研究の目的は、現在の観測と将来の観測のアクションを予測することにより、エンコーダが低レベルの動作を決定する細粒度の視覚的特徴を捉えることを奨励する。 CALVIN ABC-DとSimplerEnvの実験では、様々なVLAベースラインで一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-05-28T08:22:49Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• What to Ignore, What to React: Visually Robust RL Fine-Tuning of VLA Models [35.49750676677204]
  強化学習(RL)の微調整は、ロボット操作におけるビジョン・ランゲージ・アクション(VLA)モデルの可能性を示している。 重要な課題は、標準的なタスク報酬がタスクの成功を監督するが、視覚的な変化がタスク非関連であるか、操作に必要な振る舞いを変更するか、限定的なガイダンスを提供することである。 PAIR-VLAは、PPO最適化中にペアの視覚的変形に対して2つの補助的な目的を加えることで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-05-13T07:15:37Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning [44.94110361062394]
  我々は、観察プロセスを独立して制御可能な視覚軸に分解するJAXネイティブな2DプラットフォームであるKAGE-Envを紹介する。 この環境に基づいてKAGE-Benchを定義する。KAGE-Benchは、34の列車評価構成ペアからなる6つの既知の軸組のベンチマークである。 完全にベクター化されたJAX実装は、単一のGPU上で毎秒3300万の環境ステップを可能にし、視覚的要因を高速かつ再現可能なスイープを可能にする。
  論文  参考訳（メタデータ） (2026-01-20T18:44:28Z)
• $\mathcal{E}_0$: Enhancing Generalization and Fine-Grained Control in VLA Models via Continuized Discrete Diffusion [65.77755100137728]
  本稿では、量子化されたアクショントークンを反復的にデノケーションするアクション生成を定式化する、連続的な離散拡散フレームワークであるE0を紹介する。 E0は14の多様な環境において最先端のパフォーマンスを達成し、平均して10.7%強のベースラインを達成している。
  論文  参考訳（メタデータ） (2025-11-26T16:14:20Z)
• When Robots Obey the Patch: Universal Transferable Patch Attacks on Vision-Language-Action Models [81.7618160628979]
  VLA(Vision-Language-Action)モデルは敵の攻撃に弱いが、普遍的かつ移動可能な攻撃は未発見のままである。 UPA-RFAS(Universal Patch Attack via Robust Feature, Attention, and Semantics)は、単一の物理的パッチを共有機能空間で学習する統合フレームワークである。 多様なVLAモデル、操作スイート、物理実行の実験は、UPA-RFASがモデル、タスク、視点を一貫して移行していることを示している。
  論文  参考訳（メタデータ） (2025-11-26T09:16:32Z)
• Towards Viewpoint-Invariant Visual Recognition via Adversarial Training [28.424131496622497]
  画像分類器の視点ロバスト性を改善するために,ビューポイント不変適応訓練(VIAT)を提案する。 VIATは最小限の最適化問題として定式化され、内部認識は多様な敵の視点を特徴付ける。 一般化性能をさらに向上するため、分散共有戦略を導入する。
  論文  参考訳（メタデータ） (2023-07-16T07:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。