論文の概要: FailSAE: Towards Interpretable Failure Prediction for Vision-Language Models via Sparse Autoencoders
- arxiv url: http://arxiv.org/abs/2609.04276v1
- Date: Wed, 02 Sep 2026 23:52:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.761809
- Title: FailSAE: Towards Interpretable Failure Prediction for Vision-Language Models via Sparse Autoencoders
- Title（参考訳）: FailSAE:スパースオートエンコーダによる視覚言語モデルの解釈可能な故障予測に向けて
- Abstract要約: 視覚言語モデル(VLM)の故障予測におけるスパースオートエンコーダ(SAE)の利用について検討する。
本研究では, スパースSAE潜伏活性化による故障予測を分類タスクとして定式化し, 3段階の故障認識訓練パイプラインを導入する。
実験の結果, 結果のフレームワークは, 故障予測において評価されたベースラインを上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 12.030216781017558
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs), such as CLIP, have achieved strong performance across multimodal tasks by aligning visual and textual representations in a shared embedding space. As VLMs are increasingly used for high-stakes domains, failure prediction becomes critical for risk-aware deployment and human intervention. Existing failure prediction methods typically rely on confidence scores or auxiliary classifiers. Although these methods are effective on predicting VLM failures, they provide limited interpretability. In this work, we investigate the use of Sparse Autoencoders (SAEs) for interpretable failure prediction in VLMs. We formulate failure prediction as a classification task over sparse SAE latent activations and introduce a three-stage failure-aware training pipeline that encourages the learned latent directions to remain interpretable while becoming more informative for failure prediction. Our experiments show that the resulting framework outperforms the evaluated baselines in failure prediction. Further analysis suggests that failure-aware training encourages SAE latent directions to capture more class-specific concepts. We also use the SAE to provide a concept-level analysis of how model representations change during failures, revealing a shift from class-specific concepts toward more ambiguous or style-related concepts. Finally, we explore how the learned SAE latent directions can support runtime failure recovery.
- Abstract（参考訳）: CLIPのような視覚言語モデル(VLM)は、視覚的およびテキスト的表現を共有埋め込み空間に整列させることで、マルチモーダルタスク間で強力なパフォーマンスを実現している。
VLMがハイテイクドメインにますます使われるようになるにつれて、リスク対応デプロイメントや人的介入において、障害予測が重要になる。
既存の故障予測手法は一般に信頼性スコアや補助分類器に依存している。
これらの手法はVLMの故障を予測するのに有効であるが、限定的な解釈性を提供する。
本研究では,VLMの故障予測におけるスパースオートエンコーダ(SAE)の使用について検討する。
本研究では, 障害予測を, スパースSAE潜伏アクティベーションの分類タスクとして定式化し, 3段階の故障認識訓練パイプラインを導入し, 学習した潜伏方向を解釈可能のままにし, 故障予測に有益になるようにした。
実験の結果, 結果のフレームワークは, 故障予測において評価されたベースラインを上回っていることがわかった。
さらなる分析から、障害認識トレーニングは、SAE潜伏方向がよりクラス固有の概念を捉えるのに役立つことが示唆されている。
また、SAEを使用して、モデル表現が障害時にどのように変化するかという概念レベルの分析を行い、クラス固有の概念からよりあいまいな概念やスタイルに関する概念へのシフトを明らかにします。
最後に、学習したSAE遅延方向がランタイム障害回復をどのようにサポートするかを検討する。
関連論文リスト
- Uncertainty Quantification for Flow-Based Vision-Language-Action Models [33.28454469934064]
視覚言語アクションモデル(VLA)は、視覚言語バックボーンと、大規模ロボットデータセットのフローマッチングによってトレーニングされた表現力豊かな生成アクションヘッドを組み合わせる。
ロボット操作における強い経験的性能にもかかわらず、VLAは予測の信頼性を定量化し、動作が信頼できない可能性があることを検知するメカニズムを欠いている。
本稿では,不確実性誘導型アクティブ微調整のためのフレームワークであるSAVEを提案する。
論文 参考訳（メタデータ） (2026-06-16T15:19:09Z) - QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。
VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。
提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
論文 参考訳（メタデータ） (2026-05-24T06:28:53Z) - Unleashing VLA Potentials in Autonomous Driving via Explicit Learning from Failures [14.313346858887286]
自律走行のためのVLA(Vision-Language-Action)モデルは、強化学習(Reinforcement Learning、RL)最適化時にしばしばパフォーマンス高原に到達する。
この停滞は、以前のスーパービジョン・ファインチューニング(SFT)によって制約された探査能力から生じる。
構造化された診断フィードバックでRLを増強するフレームワークであるELF-VLA(Explicit Learning from Failures)を提案する。
論文 参考訳（メタデータ） (2026-03-01T11:41:22Z) - VAUQ: Vision-Aware Uncertainty Quantification for LVLM Self-Evaluation [22.921677603408188]
LVLM(Large Vision-Language Models)はしばしば幻覚を呈し、現実世界のアプリケーションに安全な配置を制限している。
LVLM自己評価のための視覚対応不確実性定量化フレームワークVAUQを提案する。
VAUQは、モデルの出力が視覚的証拠に依存するかを明確に測定する。
論文 参考訳（メタデータ） (2026-02-24T16:11:14Z) - Understanding Degradation with Vision Language Model [56.09241449206817]
視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。
本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。
また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
論文 参考訳（メタデータ） (2026-02-04T13:51:15Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - Learning Affordances at Inference-Time for Vision-Language-Action Models [50.93181349331096]
ロボット工学において、VLA(Vision-Language-Action Model)は複雑な制御タスクを解くための有望な道を提供する。
本稿では,VLAの低レベルポリシーを過去の経験を条件とした高レベルVLMに接続するLITEN(Learning from Inference-Time Execution)を紹介する。
提案手法は,低レベルVLAの計画の生成と実行を行う推論フェーズと,その結果を反映した評価フェーズとを反復する。
論文 参考訳（メタデータ） (2025-10-22T16:43:29Z) - INSIGHT: INference-time Sequence Introspection for Generating Help Triggers in Vision-Language-Action Models [2.509305596181814]
最近のVision-Language-Action(VLA)モデルは強力な一般化能力を示しているが、失敗を予測したり、人間の上司に助けを求めるための内省的なメカニズムは欠如している。
トークンレベルの不確実性信号を利用してVLAがいつ助けを求めるべきかを予測する学習フレームワークである textbfINSIGHT を提案する。
論文 参考訳（メタデータ） (2025-10-01T19:22:48Z) - Post-hoc Probabilistic Vision-Language Models [54.05237186168399]
視覚言語モデル(VLM)は、分類、検索、生成タスクにおいて顕著な成功を収めている。
追加トレーニングを必要としないVLMにおけるポストホック不確実性評価を提案する。
この結果から,大規模モデルの安全性クリティカルな応用が期待できることがわかった。
論文 参考訳（メタデータ） (2024-12-08T18:16:13Z) - Interpretable Self-Aware Neural Networks for Robust Trajectory
Prediction [50.79827516897913]
本稿では,意味概念間で不確実性を分散する軌道予測のための解釈可能なパラダイムを提案する。
実世界の自動運転データに対する我々のアプローチを検証し、最先端のベースラインよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-16T06:28:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。