論文の概要: Do VLAs Know They Will Fail? Interpretable Success and Failure Patterns in Physical AI Systems
- arxiv url: http://arxiv.org/abs/2610.32208v1
- Date: Fri, 23 Oct 2026 06:02:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.402654
- Title: Do VLAs Know They Will Fail? Interpretable Success and Failure Patterns in Physical AI Systems
- Title(参考訳): VLAは失敗を知っていますか? 物理AIシステムにおける成功と失敗パターンの解釈
- Abstract要約: 本稿では,OpenVLAアクティベーションのスパースオートエンコーダ表現には,結果予測情報が含まれていることを示す。
SAEの特徴は成功や失敗の特定の段階と結びついており、繰り返し発生する行動パターンを明らかにする。
- 参考スコア(独自算出の注目度): 15.452795132314904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) models have emerged as powerful general-purpose robot policies, but their successes and failures remain difficult to diagnose and understand. In this work, we show that sparse autoencoder (SAE) representations of OpenVLA activations contain outcome-predictive information and can be used to predict task failure before the robot reaches an unrecoverable state. Moreover, to provide insights into what common behaviors may contribute to these outcomes, we identify individual SAE features whose strong activations are associated with specific stages of success or failure, and uncover recurring behavioral patterns by localizing temporal intervals where these features exhibit significant activation changes. We further develop a VLM-based interpretation pipeline to generate behavioral descriptions of these patterns and validate their correspondence to feature activations on held-out intervals.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、強力な汎用ロボットポリシーとして登場したが、その成功と失敗は診断と理解が難しいままである。
本研究では,OpenVLAアクティベーションのスパースオートエンコーダ(SAE)表現には結果予測情報が含まれており,ロボットが発見不可能な状態に達する前にタスク障害を予測するために使用できることを示す。
さらに,これらの結果にどのような共通行動が寄与するかを考察するため,それぞれのSAE特徴を同定し,それらの特徴が顕著な活性化変化を示す時間間隔を局在させることで,繰り返しの行動パターンを明らかにする。
さらに,VLMに基づく解釈パイプラインを開発し,これらのパターンの動作記述を生成し,保留区間における特徴アクティベーションに対する対応性を検証する。
関連論文リスト
- Sparse Feature Policy Unlearning Mitigates State Hallucination in Vision-Language-Action Models [18.14965032957915]
状態幻覚(State Hallucination)は、VLAがまるで実現されていないロボットオブジェクトの状態が達成されたかのように振る舞う繰り返し失敗パターンである。
我々は,国家の幻覚行動に関連する政策知識を選択的に解放するSOUL(Sparse feature pOlicy UnLearning)を提案する。
論文 参考訳(メタデータ) (2026-10-07T05:52:02Z) - Is Success All You Need? Investigating the Impact of Input Perturbations on VLA Behaviour in Tabletop Manipulation Tasks [49.09021048464337]
VLA(Vision-Language-Action)モデルは、ロボット操作タスクベンチマークにおいて高いタスク成功率を達成した。
モデルの振る舞いのロバスト性を評価するためのベンチマーク非依存評価フレームワークを提案する。
動作のスムーズさ,効率,グリップ動作の指標を含む,典型的な成功行動とその変動性の変化を評価した。
論文 参考訳(メタデータ) (2026-10-01T09:20:57Z) - ProTracer: Proprioception-Guided Failure Diagnosis in Robot Manipulation [22.155955201305876]
ProTracerは、既存のVision-Language Models(VLM)とプロプリセプティブシグナルを併用した、トレーニング不要のフレームワークである。
提案手法は,時間的情報的行動境界を同定し,よりリッチなロボット状態信号を構造化された自然言語記述に変換する。
ProTracerは、従来の障害診断タスクと、新たに導入された障害オンセットローカライゼーションタスクの両方で、強力なパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-09-18T06:32:27Z) - FailSAE: Towards Interpretable Failure Prediction for Vision-Language Models via Sparse Autoencoders [12.030216781017558]
視覚言語モデル(VLM)の故障予測におけるスパースオートエンコーダ(SAE)の利用について検討する。
本研究では, スパースSAE潜伏活性化による故障予測を分類タスクとして定式化し, 3段階の故障認識訓練パイプラインを導入する。
実験の結果, 結果のフレームワークは, 故障予測において評価されたベースラインを上回っていることがわかった。
論文 参考訳(メタデータ) (2026-09-02T23:52:47Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳(メタデータ) (2026-05-24T06:28:53Z) - Contrastive Conceptor Activation Steering (COAST): Unlocking Vision-Language-Action Models through Hidden States [4.1864205728857256]
Vision-Language-Action(VLA)モデルは、WebスケールのVision-Language Model(VLM)事前トレーニングから、強力な知覚的事前学習を活用する。
これを軽減するために、コントラスト概念活性化ステアリング(COAST)を提案する。
COASTは、目標となるロボットタスクに対して成功クリティカルなサブスペースを特定するために概念を使用する。
論文 参考訳(メタデータ) (2026-05-16T20:28:21Z) - GuidedVLA: Specifying Task-Relevant Factors via Plug-and-Play Action Attention Specialization [101.37117235471709]
本稿では,タスク関連要因に着目したアクション生成を支援するフレームワークである GuidedVLA を紹介する。
私たちの中核的な洞察は、アクションデコーダをモノリシックな学習者としてではなく、機能的なコンポーネントの集合として扱うことです。
この結果から,アクションデコーダ学習を明示的に指導することが,より堅牢で汎用的なVLAモデルを構築する上で有望な方向であることが示唆された。
論文 参考訳(メタデータ) (2026-05-12T16:38:40Z) - Hierarchical Vision Language Action Model Using Success and Failure Demonstrations [60.82332413442677]
階層型視覚-言語-アクションモデルであるVINEを導入し,高レベル推論を低レベル制御から分離する。
システム2は、2Dシーングラフの抽象化を介して、実現可能性誘導木探索を行う。
システム1はエージェントのコアスキルを変更することなく、低レベルのアクションを実行する。
論文 参考訳(メタデータ) (2025-12-03T15:58:38Z) - AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models [60.39655329875822]
VLA(Vision-Language-Action)モデルは、ロボットが自然言語の命令を解釈し、多様なタスクを実行することを可能にするモデルである。
このようなモデルを攻撃することへの関心は高まっているが、既存の手法の有効性は依然として不明である。
我々はVLA開発ライフサイクルに合わせて統合されたフレームワークであるAttackVLAを提案する。
論文 参考訳(メタデータ) (2025-11-15T10:30:46Z) - Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。
本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。
提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
論文 参考訳(メタデータ) (2025-10-22T16:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。