論文の概要: Which Source Wins? Task-Dependent Reliance in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2608.17205v1
• Date: Mon, 17 Aug 2026 23:38:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.162893
• Title: Which Source Wins? Task-Dependent Reliance in Vision-Language Models
• Title（参考訳）: どの情報源が勝つか : 視覚言語モデルにおけるタスク依存信頼度
• Abstract要約: 視覚言語モデル(VLM)は画像とテキストを組み合わせているが、2つの衝突と1つの衝突が読みにくくなると、モデルがそれらの間の依存をどうシフトするかははっきりしない。 制御されたセットアップを用いて、このモダリティのリアルタイム化について検討する。 我々は、GSM8KとSVAMPとの競合を、ある算術問題の描画されたイメージと別のテキストとのペアリングによって構築するので、2つの情報源は異なる回答をサポートする。 生成した回答と長さ正規化条件付きログ類似マージンを併用した6つのオープンウェイトVLMの評価を行った。
• 参考スコア（独自算出の注目度）: 0.6015914760581824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models (VLMs) combine images and text, but when the two conflict and one becomes harder to read, it is unclear how a model shifts its reliance between them. We study this modality reallocation with a controlled setup: we degrade either the image or the text across four levels of legibility while keeping the other clean, and track how the model's preference changes. We build conflicts from GSM8K and SVAMP by pairing the rendered image of one arithmetic problem with the text of another, so the two sources support different answers. We also introduce ChartQA-Conflict, a manually reviewed benchmark of 229 chart-report conflicts with matched chart and table-image representations. We evaluate six open-weight VLMs using both generated answers and a length-normalized conditional log-likelihood margin. On GSM8K and SVAMP, five of six models shift more strongly away from degraded text than from degraded images. On ChartQA-Conflict, all six likelihood-scored models exhibit the opposite pattern, shifting more strongly away from the degraded visual source. This reversal persists after calibrating for unimodal accuracy loss and after replacing charts with plain table images. Two frontier API models, GPT-5.6-Luna and Gemini-3.5-Flash, behaviorally replicate the ChartQA-Conflict reversal, with GPT-5.6-Luna also matching the arithmetic direction. These results show that modality reliance in VLMs is not fixed, but varies across tasks, evidence structures, models, and evaluation settings. The source code is available at https://github.com/Ro-netizen004/multimodal-arbitration-artifact.
• Abstract（参考訳）: 視覚言語モデル(VLM)は画像とテキストを組み合わせているが、2つの衝突と1つの衝突が読みにくくなると、モデルがそれらの間の依存をどうシフトするかははっきりしない。 我々は、このモダリティ再配置を制御された設定で研究し、画像またはテキストを4段階の可視性で分解し、他方をきれいに保ちながら、モデルの好みがどのように変化するかを追跡する。 我々は、GSM8KとSVAMPとの競合を、ある算術問題の描画されたイメージと別のテキストとのペアリングによって構築するので、2つの情報源は異なる回答をサポートする。 ChartQA-Conflictは、229のチャートレポート競合とマッチしたチャートとテーブルイメージの表現を手動でレビューするベンチマークである。 生成した回答と長さ正規化条件付きログ類似マージンを併用した6つのオープンウェイトVLMの評価を行った。 GSM8KとSVAMPでは、6つのモデルのうち5つは劣化した画像よりも劣化したテキストから強く離れている。 ChartQA-Conflictでは、6つの可能性マーク付きモデルすべてが反対のパターンを示し、劣化した視覚源から強く離れている。 この逆転は、単調な精度の損失を補正し、チャートを平易なテーブルイメージに置き換えた後に継続する。 GPT-5.6-Luna と Gemini-3.5-Flash の2つのフロンティアAPIモデルでは、GPT-5.6-Luna も演算方向と一致する。 これらの結果は,VLMのモダリティ依存は固定ではなく,タスク,エビデンス構造,モデル,評価設定によって異なることを示している。 ソースコードはhttps://github.com/Ro-netizen004/multimodal-arbitration-artifactで入手できる。

関連論文リスト

• VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification [53.25222629244709]
  VDiff-Benchは、微細な画像差分識別のためのベンチマークである。 それぞれの質問は2つのイメージ入力に対応し、真の違い、2つの強い否定的な説明、そして「違いなし」の気晴らしの4つの選択肢がある。 11の最先端のオープンソースおよびクローズドソースMLLMによる実験は、きめ細かいビジュアル比較が不安定であることを示している。
  論文  参考訳（メタデータ） (2026-09-05T20:20:24Z)
• Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark [2.379911867541422]
  視覚言語モデル(VLM)は、画像中のものから答えを従わなければならないように、ますます展開されている。 それらはしばしば、画像自体からではなく、記憶された世界の知識と共に表現される、テキストの先行から答える。 既存のベンチマークでは、通常、各イメージは1つの固定された質問とペアリングされるため、この振る舞いを分離することは滅多にない。
  論文  参考訳（メタデータ） (2026-06-09T04:18:38Z)
• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Reading, Not Thinking: Understanding and Bridging the Modality Gap When Text Becomes Pixels in Multimodal LLMs [23.958966900531692]
  MLLM(Multimodal large language model)は、画像として表示されるテキストを処理できるが、同じコンテンツがテキストトークンとして提供される場合よりも処理が悪くなることが多い。 我々は,この「モダリティギャップ」を7つのベンチマークを5つの入力モードで評価することにより,系統的に診断する。
  論文  参考訳（メタデータ） (2026-03-10T02:14:23Z)
• FineGRAIN: Evaluating Failure Modes of Text-to-Image Models with Vision Language Model Judges [85.24983823102262]
  本稿では,テキスト・トゥ・イメージ(T2I)モデルと視覚言語モデル(VLM)を評価するための構造化手法を提案する。 我々は,挑戦的プロンプトで条件付きT2Iモデルにより生成された画像において,VLMが27の特定の障害モードを識別できるかどうかを検証した。 以上の結果から,現在の測定値ではこれらの誤差を捉えるには不十分であることが示唆された。
  論文  参考訳（メタデータ） (2025-12-01T19:46:03Z)
• RefChartQA: Grounding Visual Answer on Chart Images through Instruction Tuning [63.599057862999]
  RefChartQAは、Chart Question Answering(ChartQA)とビジュアルグラウンドを統合した、新しいベンチマークである。 実験により,グラウンド化による空間認識を取り入れることで,応答精度が15%以上向上することが実証された。
  論文  参考訳（メタデータ） (2025-03-29T15:50:08Z)
• VQAttack: Transferable Adversarial Attacks on Visual Question Answering via Pre-trained Models [58.21452697997078]
  本稿では,画像とテキストの摂動を設計モジュールで生成できる新しいVQAttackモデルを提案する。 5つの検証モデルを持つ2つのVQAデータセットの実験結果は、提案したVQAttackの有効性を示す。
  論文  参考訳（メタデータ） (2024-02-16T21:17:42Z)
• Vector-quantized Image Modeling with Improved VQGAN [93.8443646643864]
  本稿では,自動回帰的に画像トークンを予測するためにトランスフォーマーを事前訓練するベクトル量子化画像モデリング手法を提案する。 まず,バニラVQGANに対して,アーキテクチャからコードブック学習までの複数の改良を提案する。 ImageNetで256x256解像度でトレーニングすると、175.1のインセプションスコア(IS)と4.17のFrechet Inception Distance(FID)を達成する。
  論文  参考訳（メタデータ） (2021-10-09T18:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。