論文の概要: Seeing and Solving Are Not Enough for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.33694v1
• Date: Sun, 27 Sep 2026 15:57:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 17:40:26.870042
• Title: Seeing and Solving Are Not Enough for Vision-Language Models
• Title（参考訳）: 視覚言語モデルでは視線と解答は十分ではない
• Abstract要約: 視覚言語モデル(VLM)は、視覚情報抽出と下流問題の解法を組み合わせることで、視覚的な疑問に答える。 不正確な答えは、必ずしも視覚的抽出や問題解決の失敗を反映しているか? モデルは、別々にテストされても、元のマルチモーダルな質問で失敗しても、両方の能力で成功するかもしれない。
• 参考スコア（独自算出の注目度）: 23.89123184767574
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) answer visual questions by combining visual information extraction with downstream problem solving. We investigate a fundamental question: Does an incorrect answer necessarily reflect a failure in visual extraction or problem solving? A model may succeed at both abilities when tested separately yet still fail on the original multimodal question, a distinction that overall answer accuracy cannot reveal. To study this, we perform a question-level empirical analysis across multiple VLMs and visual domains. We define an exactly scorable task state (i.e., the visual information sufficient to solve a question) and use it to test whether the same model can extract the required state, solve the question from the ground-truth state, and answer the original multimodal question. We find that composition failures, where extraction and solving both succeed but direct answering fails, account for 17.7% to 75.6% of direct-answering errors across multiple VLMs and datasets. To address this failure mode, we introduce a simple yet effective method, termed State Realization Tuning (SRT). SRT fine-tunes LoRA adapters attached to the language-model layers while keeping the pretrained VLM weights frozen. It trains the model to output the ground-truth task state before the final answer in a single autoregressive response. SRT improves over standard supervised fine-tuning by 1.7 to 14.1 percentage points and repairs 92.5% to 98.1% of diagnosed composition failures. A single LoRA adapter trained with SRT also improves performance across substantially different task-state structures. Our work shows that having both visual extraction and problem-solving capabilities does not guarantee correct multimodal answering. Requiring the model to first output the visual information needed to solve the question can help bridge this gap.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、視覚情報抽出と下流問題の解法を組み合わせることで、視覚的な疑問に答える。 不正確な答えは、必ずしも視覚的抽出や問題解決の失敗を反映しているか? モデルは、別々にテストされても、元のマルチモーダルな質問で失敗しても、両方の能力で成功するかもしれない。 そこで本研究では,複数のVLMおよび視覚領域にまたがる質問レベルの経験分析を行う。 我々は、正確にスコーラブルなタスク状態(すなわち、質問を解くのに十分な視覚的情報)を定義し、それを用いて、同じモデルが要求された状態を抽出できるかどうかを検証し、基礎的な状態から質問を解き、元のマルチモーダルな質問に答える。 抽出と解答の両方が成功するが、直接解答が失敗する合成失敗は、複数のVLMとデータセットにまたがる直接解答エラーの17.7%から75.6%を占める。 この障害モードに対処するために、ステート・リアライゼーション・チューニング(SRT)と呼ばれるシンプルだが効果的な手法を導入する。 SRTファインチューンLoRAアダプタは、トレーニング済みのVLM重みを凍結させながら、言語モデル層にアタッチされる。 単一の自己回帰応答で最終回答の前に、基底的タスク状態を出力するようにモデルを訓練する。 SRTは標準的な微調整を1.7から14.1ポイント改善し、診断された構成不良の92.5%から98.1%を修復する。 SRTでトレーニングされた単一LoRAアダプタは、実質的に異なるタスク状態構造のパフォーマンスも向上する。 本研究は,視覚的抽出能力と問題解決能力の両立が,正しいマルチモーダル応答を保証できないことを示す。 問題の解決に必要な視覚情報を最初に出力するモデルが必要であることは、このギャップを埋めるのに役立ちます。

関連論文リスト

• VisualFLIP: Do Predictions Depend on Task-Critical Visual Evidence in Multimodal Reasoning? [79.44137632338062]
  マルチモーダルな大規模言語モデルが視覚的推論問題に正しく答える場合、その予測はタスククリティカルな視覚的証拠によって実際に支持されているか? VisualFLIPは1,374枚の画像が基数,属性,空間,論理的タスクにまたがって同一の問合せペアとして配置されたベンチマークである。 ペアの両面を解く必要がある24個のMLLMと、少なくとも一方の面を解くモデルが両方の画像に対して同じ空でない答えを繰り返す頻度を測定するCR(Collapse Rate)を評価した。
  論文  参考訳（メタデータ） (2026-06-05T22:06:07Z)
• Arbitration Failure, Not Perceptual Blindness: How Vision-Language Models Resolve Visual-Linguistic Conflicts [7.071615105094556]
  視覚的属性は、初期層から線形にデオード可能であることを示す。 初期のレイヤでのトレーニング不要なアクティベーションは、いくつかの設定で性能を低下させることなく、最大3.8%の視覚的グラウンド化を向上できることを示す。
  論文  参考訳（メタデータ） (2026-04-10T14:36:07Z)
• ZeShot-VQA: Zero-Shot Visual Question Answering Framework with Answer Mapping for Natural Disaster Damage Assessment [0.0]
  最近発表されたモデルは、オープンエンドの質問に答える能力を持っていない。 ZeShot-VQAは、トレーニング手順中に見られなかった回答を処理し、生成することができる。
  論文  参考訳（メタデータ） (2025-05-30T21:15:11Z)
• MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
  我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。 我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。 我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
  論文  参考訳（メタデータ） (2025-05-01T17:41:49Z)
• Look Before You Leap: A Universal Emergent Decomposition of Retrieval Tasks in Language Models [58.57279229066477]
  本研究では,言語モデル(LM)が様々な状況下での検索タスクをどのように解決するかを検討する。 ORIONは6つのドメインにまたがる構造化された検索タスクの集合である。 LMは内部的にモジュール方式で検索タスクを分解する。
  論文  参考訳（メタデータ） (2023-12-13T18:36:43Z)
• Exploring Question Decomposition for Zero-Shot VQA [99.32466439254821]
  視覚的質問応答のための質問分解戦略について検討する。 モデル記述分解の素早い適用は性能を損なう可能性があることを示す。 モデル駆動選択的分解手法を導入し,予測と誤りの訂正を行う。
  論文  参考訳（メタデータ） (2023-10-25T23:23:57Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。