論文の概要: When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors

• arxiv url: http://arxiv.org/abs/2610.13910v1
• Date: Fri, 09 Oct 2026 17:50:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.706325
• Title: When VLMs Destroy What They Know: Spatial Representations Fall Below Lexical Priors
• Title（参考訳）: VLMが「空間表現」を崩壊させる時
• Abstract要約: 本稿では,VLM(Vision-Language Models)が下流で使用される表現において,自身の入力に存在する関係情報を保存していないことを示す。 発見は、出力ベースの評価に見えない系統的な失敗を示す。
• 参考スコア（独自算出の注目度）: 4.215221129670858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) increasingly analyze and reason about images, yet it remains unclear whether their internal representations faithfully encode the structured relations required for such reasoning. We introduce EICS (Evaluation-Invariant Concept Stability), a metric for testing whether representations consistently encode concepts under controlled one-concept interventions, and CASP-VL (Causally controlled Spatial Perturbations for Vision-Language models), a benchmark of causally controlled spatial perturbations derived from Visual Genome scene graphs. Across multiple VLM architectures, we find that spatial relations are represented substantially less faithfully than lexical information, even when the same models score well above chance on compositional benchmarks. Further analysis shows that the relation is identifiable at the predicate's own tokens but is lost when the sentence is aggregated into a global representation, whether through the (EOS) token or by mean pooling. These findings reveal a systematic failure invisible to output-based evaluation: VLMs do not preserve, in the representation used downstream, relational information that is present in their own input.
• Abstract（参考訳）: VLM(Vision-Language Models)は画像の解析と推論をますます進めているが、それらの内部表現がそのような推論に必要な構造的関係を忠実に符号化しているかどうかは不明である。 EICS(Evaluation-Invariant Concept Stability, 評価不変概念安定度)と、視覚ゲノムシーングラフから因果的に制御された空間摂動のベンチマークであるCASP-VL(Causally controlled Spatial Perturbations for Vision-Language model)を導入する。 複数のVLMアーキテクチャ全体において、同じモデルが構成ベンチマークでかなり高い確率で評価された場合でも、空間関係は語彙情報よりもかなり忠実に表現されないことが判明した。 さらなる分析では、関係は述語自身のトークンで識別可能であるが、文が(EOS)トークンか平均プールかにかかわらず、グローバル表現に集約されたときに失われることを示している。 VLMは、下流で使われる表現において、自分自身の入力に存在する関係情報を保存しない。

関連論文リスト

• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
  この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。 合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。 我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
  論文  参考訳（メタデータ） (2026-05-28T16:20:29Z)
• Seeing without Looking: Do Vision-Language Benchmarks Really Test Vision? [10.315515647818009]
  ベンチマーク精度はしばしば、視覚言語モデルにおける基底的な視覚的理解を反映していると仮定される。 我々は、このミスマッチをオープンソースの視覚言語モデルで体系的に研究する。 VLMは視覚入力を取り入れているが、その予測はきめ細かい視覚的証拠の喪失にはあまり敏感ではない。
  論文  参考訳（メタデータ） (2026-05-21T17:35:04Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Refining Skewed Perceptions in Vision-Language Contrastive Models through Visual Representations [0.033483662989441935]
  大規模視覚言語コントラストモデル(VLCM)は、様々な下流タスクで顕著な成功を収めている。 それらの利点にもかかわらず、これらのモデルは現実のデータの不均等な分布からバイアスを受け継ぎ、実際の環境に関する誤解を招く。 本研究では,CLIPの下流アプリケーションへの埋め込みから,単純な線形プローブを用いてタスク固有のコア特徴を効果的に抽出する方法について検討する。
  論文  参考訳（メタデータ） (2024-05-22T22:03:11Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• DORA: Exploring Outlier Representations in Deep Neural Networks [0.0]
  我々は,Deep Neural Networks (DNN) の表現空間を解析するための,最初のデータに依存しないフレームワークであるDORAを提案する。 我々のフレームワークの中心は、表現間の類似性を評価する、提案された極活動距離測定(EA)である。 EAのメトリクスを定量的に検証し、制御されたシナリオと実世界のアプリケーションの両方でその効果を実証する。
  論文  参考訳（メタデータ） (2022-06-09T14:25:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。