Fugu-MT 論文翻訳(概要): See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

論文の概要: See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

arxiv url: http://arxiv.org/abs/2611.01467v1
Date: Sun, 01 Nov 2026 02:56:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-04 23:36:30.476989
Title: See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs
Title（参考訳）: VLMにおける認識と推論の失敗の診断
Abstract要約: 本稿では、視覚言語モデルの各回答を、知覚、推論、あるいは知覚の使用にトレースするプロトコルであるSee, Think, Useを紹介する。ベンチマークは最終回答をスコアし、画像に残される答えは、推測や記憶された前と同じクレジットを得る。
参考スコア（独自算出の注目度）: 4.907810679099975
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present See, Think, Use, a protocol that traces each answer of a vision-language model to perception, reasoning or the use of perception. The diagnosis shows a developer which stage to improve and directs test-time compute to the stage that fails. Benchmarks score the final answer, and an answer that rests on the image earns the same credit as a guess or a memorized prior. The protocol asks the model two extra questions per item and needs no access to its weights. A localization probe asks for a box around every instance and measures seeing, and a text-replacement probe answers from a description and measures thinking. Use is the rate at which the answer follows the model's own perception across counterfactual image pairs. The rate needs no answer labels, because the question and its prior are the same on both images. On two model families and six datasets the protocol shows that the knob that helps follows the task family. Answers follow the model's perception except on images that contradict a common prior, and asking the model to localize first repairs this failure when its boxes are right. Allocating compute by the measured stages comes close to the best uniform policy at lower cost and beats a random allocation of the same compute wherever a knob raises the short stage. We will release the code, the prompts and the per-question outputs.
Abstract（参考訳）: 本稿では、視覚言語モデルの各回答を、知覚、推論、あるいは知覚の使用にトレースするプロトコルであるSee, Think, Useを紹介する。診断は、どのステージを改善するかを示し、テスト時間計算を失敗するステージに指示する。ベンチマークは最終回答をスコアし、画像に残される答えは、推測や記憶された前と同じクレジットを得る。プロトコルは、アイテムごとに2つの追加質問をモデルに問うが、ウェイトへのアクセスは不要である。ローカライゼーションプローブは、各インスタンスの周囲にボックスを要求し、可視性を測定し、テキスト置換プローブは、説明から回答し、思考を測定する。使用率とは、その解答が、反実像対に対するモデル自身の認識に従う速度である。どちらの画像でも、問合せと先行は同一であるため、回答ラベルは必要ない。 2つのモデルファミリと6つのデータセットでは、プロトコルがタスクファミリに従うのに役立つノブを示している。解答者は、一般的な先行画像と矛盾するイメージを除いてモデルの認識に従い、ボックスが正しいときに最初にこの障害をローカライズするようモデルに求める。測定段階による計算の割り当ては、低コストで最高の均一ポリシーに近づき、knobがショートステージを上昇する場合でも、同じ計算のランダムな割り当てに打ち勝つ。コード、プロンプト、要求ごとのアウトプットを公開します。

論文の概要: See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

関連論文リスト