論文の概要: More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

• arxiv url: http://arxiv.org/abs/2604.17354v1
• Date: Sun, 19 Apr 2026 10:00:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.484316
• Title: More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage
• Title（参考訳）: 目を見張るより:セマンティックアンカレッジによる視覚・言語モデルにおけるセミオティックギャップの測定
• Authors: Wei He,
• Abstract要約: 視覚的抽象下では,高い視覚的忠実度が慣用的な構成性に干渉するか否かを検討する。 このベンチマークでは,リテラルと慣用的な読み出しのためのペア化,センスアンコールによる可視化を生成することで,高忠実度な視覚的ディテールを図形的象徴性に置き換える。 この結果から,構成理解の向上には視覚入力の図形的抽象化と,意図した意味によるアンカリング解釈と生成が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 3.968258676030377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) excel at photorealistic generation, yet often struggle to represent abstract meaning such as idiomatic interpretations of noun compounds. To study whether high visual fidelity interferes with idiomatic compositionality under visual abstraction, we introduce DIVA, a controlled benchmark that replaces high-fidelity visual detail with schematic iconicity by generating paired, sense-anchored visualizations for literal and idiomatic readings. We further propose Semantic Alignment Gap ($Δ$), an architecture-agnostic metric that quantifies divergence between literal and idiomatic visual grounding. We additionally introduce a directional signed bias $b(t)$ to separately measure the direction and strength of literal preference. Evaluating 8 recent VLMs, we reveal a consistent Literal Superiority Bias: model scale alone does not resolve literal preference, and increased visual fidelity is associated with weaker symbolic alignment, suggesting cognitive interference from hyper-realistic imagery. Our findings suggest that improving compositional understanding requires iconographic abstraction of visual input and anchoring interpretation and generation in intended meaning.
• Abstract（参考訳）: VLM(Vision-Language Models)は、フォトリアリスティックな生成において優れているが、名詞化合物の慣用的な解釈のような抽象的な意味を表現するのに苦労することが多い。 視覚的抽象の下では,高い視覚的忠実度が慣用的構成性に干渉するかどうかを調べるために,リテラルと慣用的な読解のためのペア付き,知覚的可視化を生成することで,高忠実度視覚的詳細を図形的象徴性に置き換える制御されたベンチマークであるDIVAを導入する。 さらに、リテラルと慣用的な視覚的グラウンドのばらつきを定量化するアーキテクチャに依存しない計量であるセマンティックアライメントギャップ(Δ$)を提案する。 さらに、リテラル選好の方向と強度を別々に測定するために、方向性符号付きバイアス$b(t)$を導入する。 モデルスケールだけではリテラルな嗜好を解決できず、視覚的忠実度の増加はより弱い記号的アライメントと関連付けられ、超現実的イメージからの認知的干渉が示唆される。 コンポジション理解の改善には,視覚入力の図形的抽象化と,意図した意味によるアンカリング解釈と生成が必要であることが示唆された。

関連論文リスト

• The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping [1.5767445615203355]
  ビジュアル・イコニシティ・チャレンジ(Visual Iconicity Challenge)は、視覚言語モデルを評価するための心理言語学的尺度である。 オランダの手話におけるゼロおよび少数ショット設定において,13の最先端のVLMを評価した。 より強い音韻形式予測モデルでは、人間の象徴性判断と相関する。
  論文  参考訳（メタデータ） (2025-10-09T17:21:59Z)
• Context Matters: Learning Global Semantics via Object-Centric Representation [8.195437248815802]
  ビジョンモデルは、コンテキスト内学習において同等の進歩を見せていない。 このギャップは、現在の視覚変換器(ViT)トレーニングスキームにおける意味的および文脈的ガイダンスの欠如に起因する可能性がある、と我々は主張する。 対象」を「単語」の視覚的等価性として直接モデル化し、そのモデルに視覚要素間のグローバルな文脈と意味を学習させることを提案する。
  論文  参考訳（メタデータ） (2025-10-07T08:33:36Z)
• Compositional Entailment Learning for Hyperbolic Vision-Language Models [54.41927525264365]
  画像とテキストのペアを超えて、双曲的埋め込みの自然的階層性を完全に活用する方法を示す。 双曲型視覚言語モデルのための構成的包摂学習を提案する。 数百万の画像テキストペアで訓練された双曲型視覚言語モデルに対する経験的評価は、提案手法が従来のユークリッドCLIP学習より優れていることを示している。
  論文  参考訳（メタデータ） (2024-10-09T14:12:50Z)
• What Makes a Maze Look Like a Maze? [92.80800000328277]
  本稿では,Deep Grounding(DSG)という,視覚的抽象化の明示的な構造化表現を活用してグラウンド化と推論を行うフレームワークを紹介する。 DSGの中核はスキーマ-依存性グラフによる抽象概念の記述で、より原始的なシンボルに分解される。 DSGは視覚言語モデルの抽象的視覚的推論性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-09-12T16:41:47Z)
• Direction-Oriented Visual-semantic Embedding Model for Remote Sensing Image-text Retrieval [7.118271398274512]
  本稿では,視覚と言語の関係を考察するため,方向指向型ビジュアル・セマンティック・エンベディング・モデル(DOVE)を提案する。 我々の目指すのは、潜在空間における視覚的およびテキスト的表現を極力近く、冗長性のない地域視覚表現に向けることである。 我々は、単一の視覚的依存を減らすためにグローバルな視覚意味制約を利用し、最終的な視覚的およびテキスト的表現の外部制約として機能する。
  論文  参考訳（メタデータ） (2023-10-12T12:28:47Z)
• Visual Superordinate Abstraction for Robust Concept Learning [80.15940996821541]
  概念学習は言語意味論と結びついた視覚表現を構成する。 視覚概念の本質的な意味的階層を探索する失敗のボトルネックについて説明する。 本稿では,意味認識型視覚サブ空間を明示的にモデル化するビジュアル・スーパーオーディネート・抽象化・フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-28T14:27:38Z)
• Consensus Graph Representation Learning for Better Grounded Image Captioning [48.208119537050166]
  本稿では,接地画像キャプションのためのConsensus Rraph Representation Learning framework(CGRL)を提案する。 Flickr30k Entitiesデータセットにおける対象幻覚(-9% CHAIRi)の顕著な減少とともに,本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2021-12-02T04:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。