論文の概要: VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.16567v1
- Date: Mon, 12 Oct 2026 10:48:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.360573
- Title: VLA-GAUGE: Systematically Evaluating Generalization and Robustness in Vision-Language-Action Models
- Title（参考訳）: VLA-GAUGE:視覚言語行動モデルにおける一般化とロバスト性を体系的に評価する
- Abstract要約: VLA(Vision-Language-Action Model)は、慣れ親しんだ操作タスクにおいて高い成功率を達成した。
そのようなスコアが真のゼロショット一般化と摂動ロバスト性を反映しているかどうかは不明である。
VLA-GAUGEは、共有タスク表現の下で両方の評価を統一する診断フレームワークである。
- 参考スコア（独自算出の注目度）: 15.935916217039091
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action models (VLAs) have achieved high success rates on familiar manipulation tasks, yet it remains unclear whether such scores reflect genuine zero-shot generalization and perturbation robustness. Existing evaluation frameworks provide limited capability-level diagnosis and combinatorial perturbation coverage, often without connecting diagnosis to targeted model refinement. We introduce VLA-GAUGE, a diagnostic framework that unifies both evaluations under a shared executable task representation. It combines (1) paired in-distribution and out-of-distribution tasks across six capability suites, (2) single-factor sensitivity analysis with combinatorial perturbation screening and evaluation, and (3) diagnosis-driven refinement through targeted data augmentation and model fine-tuning. We evaluate 12 VLAs spanning different model sizes and action-modeling paradigms under a unified protocol. We find that (1) The mean Zero-Shot Score on VLA-GAUGE is only 22.3%, with SimpleVLA-RL scoring 8.0% and ranking second to last among the evaluated models. (2) Under three representative combinatorial perturbation configurations, the mean R-Score is 9.3. (3) Diagnosis-driven fine-tuning improves $π_{0.5}$'s zero-shot generalization and robustness under a selected perturbation combination on held-out scenarios by 72.4 and 31.8 scoring points, respectively; the latter exceeds the 10.9-point gain from LIBERO-Plus single-factor fine-tuning despite fewer successful training trajectories. These results show that high reported success rates on familiar manipulation tasks do not guarantee strong zero-shot generalization to unseen tasks or robustness to combinatorial perturbations, while diagnostic evaluation provides actionable signals for targeted model improvement.
- Abstract（参考訳）: VLA(Vision-Language-Action Model)は、慣れ親しんだ操作タスクにおいて高い成功率を達成したが、そのようなスコアが真のゼロショット一般化と摂動堅牢性を反映しているかどうかは不明である。
既存の評価フレームワークは、限られた能力レベル診断と組合せ摂動カバレッジを提供するが、多くの場合、診断を対象のモデルの精細化に接続することはない。
VLA-GAUGEは、共有可能なタスク表現の下で両方の評価を統一する診断フレームワークである。
本研究は,(1)単因子感度分析と組合せ摂動スクリーニングと評価,(3)対象データ拡張とモデル微調整による診断駆動改善,の6つの機能スイートにまたがる分散処理とアウト・オブ・ディストリビューションタスクを組み合わせたものである。
異なるモデルサイズとアクションモデリングパラダイムにまたがる12のVLAを統一プロトコルで評価する。
VLA-GAUGEの平均ゼロショットスコアは22.3%であり、SimpleVLA-RLは8.0%、評価モデルの中では2位である。
2) 3つの代表的な組合せ摂動構成の下では、平均Rスコアは9.3である。
(3) 診断駆動ファインチューニングは,0ショットの一般化と頑健さを,それぞれ72.4点と31.8点のホールトアウトシナリオで選択した摂動の組み合わせで改善する。
これらの結果から,慣れ親しんだ操作タスクにおける成功率の高さは,目立たないタスクに対する強いゼロショットの一般化や,組合せ的摂動に対する堅牢性を保証するものではない。
関連論文リスト
- FailureScope: Cross-Regime Behavioral Diagnosis of Language Model Weaknesses [0.0]
FailureScopeは、クロスモデルパス/フェイルパターンによる評価プローブをクラスタ化する行動診断手法である。
通常、シングルターン・ベンチマーク、マルチターン・ダイアログ、敵エージェント・アタックの3つのレシスタンスに対して安定かつ解釈可能な障害をもたらすことを示す。
論文 参考訳（メタデータ） (2026-06-03T01:28:00Z) - D3Seg: Dependency-Aware Diffusion for Brain Tumor Segmentation with Missing Modalities [54.87947751720332]
欠落モード設定下での安定した性能を維持するために,新しいセグメンテーションモデルD3Segを提案する。
提案モデルでは, 腫瘍造影法 (ET) で約1.5～2.0%, 腫瘍コア法 (TC) で約1.0%, 複数の欠損モードで約1.0%を達成している。
論文 参考訳（メタデータ） (2026-05-21T09:55:42Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - SCoOP: Semantic Consistent Opinion Pooling for Uncertainty Quantification in Multiple Vision-Language Model Systems [6.96926551349545]
マルチVLMシステムのためのSCoOP(Semantic-Consistent Opinion Pooling)を提案する。
中心となる考え方は、各VLMを確率的「専門家」として扱い、複数の出力をサンプリングし、それらを統一された空間にマッピングし、意見を集約し、システムレベルの不確実性スコアを生成することである。
ScienceQAでは、SCoOPは幻覚検出のための0.866のAUROCを達成し、ベースライン(0.732-0.757)を約10-13%上回る。
禁忌の場合、AURACは0.907で、ベースライン(0.818-0.840)を7-9%上回る。
論文 参考訳（メタデータ） (2026-03-25T02:30:48Z) - Global Prior Meets Local Consistency: Dual-Memory Augmented Vision-Language-Action Model for Efficient Robotic Manipulation [95.89924101984566]
GPM(Global Prior Memory)とLCM(Local Consistency Memory)を備えたデュアルメモリVLAフレームワークOptimusVLAを紹介する。
GPMはガウスノイズを意味論的に類似した軌道から取得したタスクレベルの先行値に置き換える。
LCMは、時間的コヒーレンスと軌道の滑らかさを強制する学習された一貫性制約を注入する。
論文 参考訳（メタデータ） (2026-02-22T15:39:34Z) - LIBERO-X: Robustness Litmus for Vision-Language-Action Models [32.29541801424534]
この研究は、評価とデータの観点からVLAベンチマークを体系的に再考する。
LIBERO-Xは階層的評価プロトコルを特徴とするベンチマークで,3つのコア機能を対象とした進行難度レベルを示す。
代表的なVLAモデルを用いた実験では、累積摂動下での大幅な性能低下が示されている。
論文 参考訳（メタデータ） (2026-02-06T09:59:12Z) - Adversarial Question Answering Robustness: A Multi-Level Error Analysis and Mitigation Study [0.0]
質問応答(QA)システムは、SQuADのような標準ベンチマークで印象的なパフォーマンスを達成するが、敵の例には弱いままである。
本研究は,AddSent逆数データセット上での変圧器モデルの逆数ロバスト性について検討する。
論文 参考訳（メタデータ） (2026-01-06T04:20:33Z) - GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。
我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。
GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
論文 参考訳（メタデータ） (2023-04-19T14:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。