論文の概要: Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning

• arxiv url: http://arxiv.org/abs/2609.24244v1
• Date: Mon, 21 Sep 2026 08:09:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.205967
• Title: Look Where It Counts: A Free, Label-Free Visual Evidence Signal for Fine-Grained Vision-Language Reasoning
• Title（参考訳）: 自由でラベルなしの視覚的エビデンス信号で視界を微調整する
• Abstract要約: 我々は,モデルが出力に割り当てる対向的エビデンスギャップ,対数的対数的比を形式化する。 単一ビューでラベルなしの基準を用いて、バウンディングボックス、トレーニング、ラベルのない応答を持つ領域を見つける。 目標の4.4から5.1倍の精度でローカライズし、精度を70%から85%に引き上げる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) fail at fine-grained visual questions less because they cannot reason than because they never see the evidence: high-resolution images are downsampled before encoding, so the model answers from linguistic priors. The standard remedies are expensive: annotated answers (SFT), hand-engineered verifiers (RLVR), or a large external teacher (on-policy distillation). We ask whether the visual evidence itself can supply the signal for free. We formalize the contrastive evidence gap, the per-token log-likelihood ratio that a model assigns to its own output when conditioned on a question-relevant region versus an irrelevant one, and study it across Qwen2.5-VL-7B, Qwen3-VL-8B, and Qwen3-VL-30B-A3B on V*Bench. Our main positive result is training-free: selecting the candidate crop under which the model's answer distribution is most peaked, using a single-view, label-free criterion, discovers the answer-bearing region with no bounding boxes, training, or labels. It localizes the target 4.4 to 5.1 times better than chance and raises fine-grained accuracy from 70 percent to 85 percent at inference. We further show that the gap is complementary to the model's own confidence. Combining them predicts correctness better than either alone, with AUC up to 0.99, and flags confidently wrong answers, with AUC ranging from 0.97 to 1.00 within the high-confidence subset. All effects concentrate on perception-bottleneck questions and vanish on a global-context control. Finally, we report an honest negative result: converting the same signal into a training method, gated self-distillation (SEG-Distill), does not outperform the base model at pilot scale across three gate designs, while more aggressive gating degrades accuracy. The signal is real, but converting it into training gains remains an open problem.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、証拠を決して見ることができないというよりは、説明できないというよりは、よりきめ細かな視覚的な問題で失敗する。 標準的な治療法は高価で、注釈付き回答(SFT)、手書き検証器(RLVR)、大規模な外部教師(オン・ポリティクス蒸留)などがある。 視覚的証拠自体が信号を無償で提供できるかどうかを問う。 モデルが質問関連領域と無関係領域に条件付けした場合に出力を割り当てる対向的なエビデンスギャップ, 対向対向対向対向対向比を定式化し, V*Bench上のQwen2.5-VL-7B, Qwen3-VL-8B, Qwen3-VL-30B-A3Bで検証する。 モデルの回答分布が最もピークである候補作物を選択し、ラベルのない単一ビューを用いて、境界ボックスやトレーニング、ラベルのない回答獲得領域を探索する。 目標の4.4から5.1倍の精度でローカライズし、精度を70%から85%に引き上げる。 さらに、このギャップはモデル自身の自信を補完するものであることを示す。 これらを組み合わせることで、AUCは単独よりも精度が良く、AUCは最大0.99まで、AUCは信頼性の高いサブセットの中で0.97から1.00まで、自信を持って答えを誤る。 あらゆる効果は、知覚のスロットネックな質問に集中し、グローバルなコンテキスト制御に消滅する。 最後に, 同じ信号をトレーニング手法に変換することで, ゲート型自己蒸留 (SEG-Distill) は, 3つのゲート設計にまたがるパイロットスケールにおいて, 精度を低下させつつも, 基本モデルよりも優れた性能を得られない,という否定的な結果が報告される。 信号は本物だが、それをトレーニングゲインに変換することは、まだ未解決の問題だ。

関連論文リスト

• Target-Checked Reliability Score Refinement for Video Question Answering [3.8271803328378677]
  モデルの再トレーニングや回答の変更を伴わずに、目標シフトの下で回答レベルの信頼性スコアを改善できるかどうかを検討する。 3つの固定されたビデオ言語モデルから、4つの決定論的ビデオサンプリングに基づいてオプション確率リストを収集する。 選択した回答に割り当てられた確率として定義される原点スコアと,開発データセットに基づいて学習したヒストグラムに基づく勾配ボスティング(HGB)スコアを比較した。 候補は、ビデオレベルの繰り返しチェックがポジティブで安定した改善を示す場合にのみ、元のスコアを置き換える。
  論文  参考訳（メタデータ） (2026-09-09T08:29:00Z)
• Vision-language models know more about agriculture than they show and rubric-grounded verifications close the gap [3.4891835983047077]
  視覚言語モデル(VLM)は農業の分類を約束するが、疾患、害虫、損傷、品質、種同定におけるゼロショットのパフォーマンスは依然として貧弱である。 私たちは、これらのタスクにまたがる116のデータセット、834のクラス、8,324のイメージのベンチマークを構築し、ギャップが生じる場所を分離します。 線形探索は、すでにVLMビジョンエンコーダが自監督型DINOv3ベースラインと同じくらい分離可能な農業特徴を符号化していることを示している。
  論文  参考訳（メタデータ） (2026-09-08T20:15:53Z)
• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• On the Robustness of LLMs' Internal Representation of Code Correctness [0.3653697742557465]
  研究によると、モデル自身の信頼信号は、実際の正確さで十分に校正されていない。 最近の研究は、モデルのトークンレベルや記述された信頼度よりも、候補ソリューションを判断できるコード正当性の内部シグナルを捉えている。 本研究では, モデル内部からどのように信号が抽出されるかを, 系統的に検討する。
  論文  参考訳（メタデータ） (2026-08-08T17:56:31Z)
• Small Vision-Language Models Know When They Are Wrong But Cannot Say So: A Two-Model Study of Stated versus Internal Confidence Under Realistic Image Degradation [0.0]
  視覚言語モデル(VLM)は、入力画像が圧縮、カメラの揺らぎ、照明不足によって劣化する消費者ハードウェアにますます多くデプロイされている。 我々は,3つの重度レベルで6つのリアルな写真劣化に対して,Qwen2-VL-2B-インストラクトとSmolVLM-インストラクトの2つの小型オープンウェイトVLMを評価した。
  論文  参考訳（メタデータ） (2026-07-24T07:00:32Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
  TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである パフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
  論文  参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。