論文の概要: The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs

• arxiv url: http://arxiv.org/abs/2607.09544v1
• Date: Fri, 10 Jul 2026 15:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.897115
• Title: The Count Is There, but Misaligned: Understanding and Correcting Counting Failures in VLMs
• Title（参考訳）: カウントは存在するが誤っている:VLMにおけるカウント障害の理解と修正
• Authors: Ahmed Oumar El-Shangiti, Abzal Nurgazy, Hilal AlQuabeh, Nikolai Rozanov, Kentaro Inui,
• Abstract要約: 視覚言語モデル(VLM)は、依然として基本的なオブジェクトカウントに苦戦している。 内部知識の欠如や内部表現と言語出力のギャップを反映しているかどうかを考察する。 本研究では,内部誤差検出器が故障を予測した場合のみモデルを選択的に再起動する自己補正法を提案する。
• 参考スコア（独自算出の注目度）: 21.905558014939327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite strong performance on many multimodal tasks, vision-language models (VLMs) still struggle with basic object counting. We investigate whether this reflects missing internal knowledge or a gap between internal representations and verbalized outputs. Training simple probes on activations from four VLMs across five counting datasets reveals that nonlinear probes can reliably detect counting errors, suggesting that VLMs often encode the correct count even when they output the wrong answer. SVCCA analysis shows that probes trained on ground-truth counts and probes trained on model outputs occupy a partially shared activation subspace but read out along misaligned directions. We further validate our findings using a causal steering intervention, proving that strengthening the direction of count-identified probes does improve model counting performance. Motivated by this result, we propose a detector-guided self-correction method that selectively re-prompts the model only when an internal error detector predicts failure. This simple inference-time intervention improves counting accuracy by up to 15.6 absolute percentage points, without any parameter updates. Our results establish activation-based error probing as both a practical tool for improving VLM counting and a mechanistic lens on the gap between internal knowledge and model outputs.
• Abstract（参考訳）: 多くのマルチモーダルタスクの性能にもかかわらず、視覚言語モデル(VLM)は基本的なオブジェクトカウントに苦戦している。 内部知識の欠如や内部表現と言語出力のギャップを反映しているかどうかを考察する。 5つの計数データセットにわたる4つのVLMからのアクティベーションに関する簡単なプローブのトレーニングにより、非線形プローブが確実にカウントエラーを検出できることが判明した。 SVCCA分析により、モデル出力に基づいて訓練されたプローブは、部分的に共有された活性化部分空間を占有するが、不整合方向に沿って読み出す。 さらに、因果的ステアリング介入を用いて、カウント同定プローブの方向を強化することにより、モデルカウント性能が向上することが証明された。 この結果から,内部誤差検出器が故障を予測した場合のみモデルを選択的に再試行する検出器誘導自己補正法を提案する。 この単純な推論時間の介入は、パラメータを更新することなく、最大15.6の絶対パーセンテージポイントのカウント精度を向上させる。 この結果から, VLMカウントを改善するための実用的なツールとして, 内部知識とモデル出力のギャップを考慮に入れたメカニスティックレンズとして, アクティベーションに基づく誤差探索を確立した。

関連論文リスト

• The Unreasonable Effectiveness of VLMs for Zero-shot Procedural Mistake Detection [27.97762014835384]
  手続き的誤り検出は多くの分野にわたる品質管理とユーザ支援において重要である。 この分野での最近の研究は、VLM(Video-Language Models)の推論機能をマルチステージパイプライン内のコンポーネントとして活用することで、大きな成果を上げている。 本稿では,1つの事前訓練されたVLMを用いて,手続き的誤り検出と時間的動作分割を共同で解決するZero-shot Procedural Mistake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-06-19T16:31:44Z)
• Sparse Visual Thought Circuits in Vision-Language Models [2.5754366051855837]
  我々はQwen3-VL-8Bにおける疎視的思考回路の局所化とテストを行う因果パイプラインを開発した。 この層でSAEを訓練し、明示的な規則でタスク選択集合を構築し、精度とドリフトを定量化しながら推論時間スケーリングとアブレーションを行う。
  論文  参考訳（メタデータ） (2026-03-26T06:24:36Z)
• Grounding the Score: Explicit Visual Premise Verification for Reliable Vision-Language Process Reward Models [8.630726904040781]
  EVPV(Explicit Visual Premise Verification)は,ステップが依存する視覚的前提の信頼性を段階的に評価する,軽量な検証インターフェースである。 EVPVはステップレベルの検証を改善し、強いベースラインよりも常にBest-of-Nの精度を向上する。
  論文  参考訳（メタデータ） (2026-03-17T08:40:26Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• LaSeR: Reinforcement Learning with Last-Token Self-Rewarding [54.72617309922891]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高めるためのコアパラダイムとして登場した。 従来、LLMは2つの異なるプロンプトテンプレートを使用してソリューションと自己検証をシーケンシャルに生成し、効率を大幅に低下させる必要があった。 本稿では,従来のRLVR損失をMSE損失で増大させるアルゴリズムであるLaSeR(Reinforcement Learning with Last-Token Self-Rewarding)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:55:11Z)
• Probing for Arithmetic Errors in Language Models [86.8227317662622]
  言語モデルの内部アクティベーションは、算術誤差を検出するために使用できる。 単純なプローブはモデルが予測した出力と正解の両方を隠蔽状態から正確に復号できることを示す。 モデル精度を90%以上の精度で予測する軽量エラー検出器を訓練する。
  論文  参考訳（メタデータ） (2025-07-16T16:27:50Z)
• SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
  Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。 我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。 これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
  論文  参考訳（メタデータ） (2025-02-24T07:15:05Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。