論文の概要: Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark

• arxiv url: http://arxiv.org/abs/2606.10400v1
• Date: Tue, 09 Jun 2026 04:18:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.318099
• Title: Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark
• Title（参考訳）: 視覚言語モデルで見るか指導するか : プラーシング型ベンチマークによるテキストパラメータ信頼度の測定と低減
• Authors: Pratham Singla, Shivank Garg, Vihan Singh, Paras Chopra,
• Abstract要約: 視覚言語モデル(VLM)は、画像中のものから答えを従わなければならないように、ますます展開されている。 それらはしばしば、画像自体からではなく、記憶された世界の知識と共に表現される、テキストの先行から答える。 既存のベンチマークでは、通常、各イメージは1つの固定された質問とペアリングされるため、この振る舞いを分離することは滅多にない。
• 参考スコア（独自算出の注目度）: 2.379911867541422
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision-language models (VLMs) are increasingly deployed where answers must follow from what is in the image, yet they often answer from textual priors, the question's phrasing together with memorized world knowledge, rather than from the image itself, which inflates benchmark scores and yields confident but ungrounded answers. Existing benchmarks rarely isolate this behavior, since each image is usually paired with a single fixed question. To measure the reliance, we build a 540-image benchmark across six reasoning categories and generate four question variants over the same images, so that phrasing rather than image content is the controlled variable. The hardest variant is written directly from the image to minimize text leakage. We benchmark eleven VLMs spanning small open-weight models to large closed-source systems: every model degrades on the hardest variant, and open models fall furthest. Our central diagnostic is a no-image ablation, which collapses the open-weight models to their text-only floor (1 to 9 percent). Three further analyses, LLM-rated difficulty, low base-to-final textual similarity, and human re-annotation, corroborate genuine image-dependence. In-context exemplars that match how a variant was built recover the most accuracy, and GRPO post-training of a small VLM yields consistent gains across all four variants that transfer to a held-out out-of-distribution set. Textual-prior reliance is measurable and partly trainable away.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、画像中のものから答えが従わなければならないように展開されるが、しばしばテキストの先行から答える。 既存のベンチマークでは、通常、各イメージは1つの固定された質問とペアリングされるため、この振る舞いを分離することは滅多にない。 信頼度を測定するため、6つの推論カテゴリにまたがって540画像のベンチマークを作成し、同じ画像上に4つの質問変数を生成し、画像の内容ではなくフレーズが制御変数となるようにした。 最も難しい変種は、テキストリークを最小限に抑えるために、画像から直接書かれる。 我々は、小さなオープンウェイトモデルから大きなクローズドソースシステムにまたがる11のVLMをベンチマークした。 私たちの中心的な診断は、画像のないアブレーションであり、オープンウェイトモデルがテキストのみのフロア(1～9%)に崩壊する。 さらに3つの解析、LCMの難易度、基本から最終までのテキスト間の類似度、人間の再アノテーションが、真の画像依存性を相関させる。 In-context exemplars that match of variant was built most accuracy and GRPO post-training of a small VLM makes all four variants that transfer to a hold-out out-of-distriion set。 テキスト・プライオリティは測定可能であり、部分的にはトレーニング可能である。

関連論文リスト

• Bridging the Missing-Modality Gap: Improving Text-Only Calibration of Vision Language Models [14.752088383510788]
  視覚言語モデル(VLM)はしばしばテキストのみの入力にデプロイされるが、画像で訓練されている。 視覚的モダリティを除去すると精度が大きく低下し、誤校正が厳しくなり、テキストのみのプロンプトでは元の言語バックボーンのように動作しないことがわかった。 我々は,テキスト入力から遅延埋め込みを予測し,ピクセルレベルの画像合成を行なわずに凍結したVLMバックボーンに供給する軽量なクロスアテンションモジュールであるLatent Imagination Module (LIM)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T10:03:02Z)
• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• Language Integration in Fine-Tuning Multimodal Large Language Models for Image-Based Regression [2.9998889086656586]
  本稿では,トランスフォーマーベース分類(RvTC)が語彙制約型分類を柔軟なビンベースアプローチで置き換える方法を示す。 汎用的なタスク記述とは異なり、特定の画像に関する意味情報を含むプロンプトにより、MLLMはクロスモーダル理解を活用することができる。
  論文  参考訳（メタデータ） (2025-07-20T15:05:24Z)
• Prefilled responses enhance zero-shot detection of AI-generated images [2.6581858762749997]
  我々は、AI生成画像のゼロショット検出のために、事前訓練された視覚言語モデル(VLM)を探索する。 人間の顔,物体,動物の合成画像を含む3つのベンチマークを用いて,VLMの性能を評価する。 特に「スタイルと合成アーティファクトを調べよう」というタスク対応のフレーズでVLM応答をプリフィルすると、3つの広く使われているオープンソースVLMのマクロF1スコアが最大24%向上する。
  論文  参考訳（メタデータ） (2025-05-20T22:44:04Z)
• Holistic Evaluation of Text-To-Image Models [153.47415461488097]
  我々はテキスト・ツー・イメージ・モデル(HEIM)の全体的評価という新しいベンチマークを導入する。 テキスト・イメージ・アライメント、画像品質、美学、独創性、推論、知識、バイアス、毒性、公正性、堅牢性、多言語性、効率性を含む12の側面を識別する。 以上の結果から,異なるモデルが異なる強みを示すことにより,すべての面において単一のモデルが優れているものはないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-07T19:00:56Z)
• Revisiting the Role of Language Priors in Vision-Language Models [90.0317841097143]
  視覚言語モデル(VLM)は、微調整なしで、ゼロショット方式で様々な視覚的理解タスクに適用される。 我々は、画像から次の単語を生成するために訓練された$textitgenerative VLMs$について研究する。 画像テキスト検索の図解的タスクにおけるゼロショット性能を,8つの人気のある視覚言語ベンチマークで検証する。
  論文  参考訳（メタデータ） (2023-06-02T19:19:43Z)
• Improving Zero-shot Generalization and Robustness of Multi-modal Models [70.14692320804178]
  CLIPやLiTのようなマルチモーダルな画像テキストモデルは、画像分類ベンチマークで顕著な性能を示している。 本研究は,この性能差の原因を考察し,テキストプロンプトの曖昧さによる障害事例の多くが原因であることを示す。 本稿では,WordNet階層を用いて,不確実な画像の精度を向上させるための簡易かつ効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-04T07:26:24Z)
• Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding [53.170767750244366]
  Imagenは、前例のないフォトリアリズムと深い言語理解を備えたテキスト間拡散モデルである。 テキスト・ツー・イメージ・モデルをより深く評価するために,テキスト・ツー・イメージ・モデルの総合的かつ挑戦的なベンチマークであるDrawBenchを紹介した。
  論文  参考訳（メタデータ） (2022-05-23T17:42:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。