論文の概要: Persistent Representational Misalignment Induces Vision-Language Model Failures

• arxiv url: http://arxiv.org/abs/2610.25252v1
• Date: Sun, 18 Oct 2026 13:11:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:05:54.890547
• Title: Persistent Representational Misalignment Induces Vision-Language Model Failures
• Title（参考訳）: 持続的表現的ミスアライメントは視覚・言語モデル障害を引き起こす
• Abstract要約: 本稿では,2つの部分から構成される。まず,既存の視覚と言語表現が線形に適応できないことを示す。 このミスアライメントはデータ固有の性質であり、従ってスケールやアライメントの複雑さに関わらず持続することが期待される。 第2に,このミスアライメントが,予測可能な一般化失敗を引き起こし,既存の障害モードと相関することを示す。
• 参考スコア（独自算出の注目度）: 34.25281672898743
• License:
• Abstract: Vision-language models (VLMs) fail at some tasks that are simple for humans---but why? We hypothesize that many such failures stem from VLMs' difficulties translating between vision and language representations, a misalignment the Platonic Representation Hypothesis predicts should disappear with scale. This paper is composed of two parts: in the first, we show that existing vision and language representations are linearly unalignable. This misalignment is an inherent property of the data and hence expected to persist regardless of either scale or the alignment's complexity. In the second, we demonstrate how this misalignment both leads to a predictably induced generalization failure and correlates with existing failure modes, where more representationally aligned VLM backbones accordingly exhibit fewer failures. Overall, these results imply representations will not become aligned simply given sufficient scale, providing evidence against a strong version of the Platonic Representation Hypothesis.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、人間にとって単純なタスクで失敗する。 このような失敗の多くは、視覚と言語表現を翻訳するVLMの困難に起因すると仮定し、プラトン表現仮説の誤調整はスケールで消えるべきであると予測する。 本稿では,2つの部分から構成される。まず,既存の視覚と言語表現が線形に適応できないことを示す。 このミスアライメントはデータ固有の性質であり、従ってスケールやアライメントの複雑さに関わらず持続することが期待される。 第2に、この不整合が予測可能な一般化失敗を引き起こし、既存の障害モードと相関し、より表現的に整合したVLMバックボーンがより少ない障害を示すことを示す。 全体として、これらの結果は表現が単に十分なスケールで整列されることを示唆し、プラトン表現仮説の強いバージョンに対する証拠を与える。

関連論文リスト

• Unveiling the Visual Counting Bottleneck in Vision-Language Models [49.591496870141846]
  この研究は視覚的数え上げを3つの認知段階(視覚的識別、大きさ認識、象徴的マッピング)に分解する。 合成Go基板と線形プローブを用いて、視覚的バックボーンは、外挿系にしっかりと、線形に分離可能な量表現を保っていることを示す。 我々は、崩壊をシンボルマッピングステージに向ける。そこでは、モデルがシンボルトークンに有効な視覚的大きさを投影することに失敗する。
  論文  参考訳（メタデータ） (2026-05-28T16:20:29Z)
• When Language Overwrites Vision: Over-Alignment and Geometric Debiasing in Vision-Language Models [4.309108879640932]
  VLM(Vision-Language Models)は、より強力な高感度アプリケーションである。 定期的に幻覚を呈し、入力に存在しない内容について自信を持って記述する。 これらの障害モードを幾何学的オーバーアライメントにトレースする。 本稿では,トレーニングフリー推論戦略とバイアス対応微調整パラダイムの2つの補完策を提案する。
  論文  参考訳（メタデータ） (2026-05-07T10:09:18Z)
• A Multimodal Dataset for Visually Grounded Ambiguity in Machine Translation [53.06004926782424]
  VIDA(Visually-Dependent Ambiguity)は2500の慎重にキュレートされたインスタンスのデータセットで、注釈付きソーススパンの解決には視覚的証拠が必要である。 また,LLM-as-a-judge分類器を用いて,アノテートされた曖昧な表現がスパンレベルで正しく解決されているかどうかを検証する。
  論文  参考訳（メタデータ） (2026-05-03T19:55:06Z)
• Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale [40.31924374728614]
  プラトン表現仮説(Platonic Representation hypothesis)は、異なるモダリティで訓練されたニューラルネットワークが一致し、最終的に同じ現実の表現に向かって収束することを示唆している。 この仮説の実験的証拠は脆弱であり, 評価体制に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2026-04-20T17:56:02Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• Unified Lexical Representation for Interpretable Visual-Language Alignment [52.059812317944434]
  複雑な設計をせずに両方のモダリティを統一した語彙表現を学習するためのフレームワークであるLexVLAを紹介する。 我々はDINOv2をローカル言語の特徴の視覚モデルとして使用し、生成言語モデルであるLlamaをテキスト内語彙予測能力の活用に利用した。 これら2つの事前学習されたユニモーダルモデルが、控えめなマルチモーダルデータセットを微調整することで、適切に整列できることを実証する。
  論文  参考訳（メタデータ） (2024-07-25T07:35:27Z)
• Constructions Are So Difficult That Even Large Language Models Get Them Right for the Wrong Reasons [43.708431369382176]
  語彙重なりが大きいNLIのための小さな課題データセットを導入する。 GPT-4 と Llama 2 は強いバイアスで失敗する。 計算言語学の観点から、曲面特徴によって区別できない3種類の形容詞を持つ構成群を同定する。
  論文  参考訳（メタデータ） (2024-03-26T14:51:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。