論文の概要: Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models
- arxiv url: http://arxiv.org/abs/2603.18523v1
- Date: Thu, 19 Mar 2026 06:10:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-20 17:19:05.977684
- Title: Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models
- Title（参考訳）: 計数回路:大規模視覚言語モデルにおける視覚推論の機械論的解釈可能性
- Abstract要約: カウントは、LVLM(Large Vision-Language Model)推論の強力なテストとして機能する。
その結果,LVLMは人間的なカウント動作を示し,小数量での精度の高い性能と,大量でのノイズ評価が可能であることがわかった。
本稿では,単純かつ豊富に利用可能な合成画像を利用して任意の事前学習LVLMを微調整する,軽量な介入戦略を提案する。
- 参考スコア（独自算出の注目度）: 35.71430064413904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Counting serves as a simple but powerful test of a Large Vision-Language Model's (LVLM's) reasoning; it forces the model to identify each individual object and then add them all up. In this study, we investigate how LVLMs implement counting using controlled synthetic and real-world benchmarks, combined with mechanistic analyses. Our results show that LVLMs display a human-like counting behavior, with precise performance on small numerosities and noisy estimation for larger quantities. We introduce two novel interpretability methods, Visual Activation Patching and HeadLens, and use them to uncover a structured "counting circuit" that is largely shared across a variety of visual reasoning tasks. Building on these insights, we propose a lightweight intervention strategy that exploits simple and abundantly available synthetic images to fine-tune arbitrary pretrained LVLMs exclusively on counting. Despite the narrow scope of this fine-tuning, the intervention not only enhances counting accuracy on in-distribution synthetic data, but also yields an average improvement of +8.36% on out-of-distribution counting benchmarks and an average gain of +1.54% on complex, general visual reasoning tasks for Qwen2.5-VL. These findings highlight the central, influential role of counting in visual reasoning and suggest a potential pathway for improving overall visual reasoning capabilities through targeted enhancement of counting mechanisms.
- Abstract（参考訳）: カウントは、LVLM(Large Vision-Language Model's)推論の単純かつ強力なテストとして機能する。
本研究では,LVLMが制御された合成および実世界のベンチマークを用いてカウントをどのように実装するかを,力学解析と組み合わせて検討する。
以上の結果から,LVLMは人間的なカウント動作を示し,小数量での精度の高い評価と,大量でのノイズ評価が可能であることがわかった。
本稿では、視覚的アクティベーション・パッチングとHeadLensという2つの新しい解釈可能性手法を導入し、様々な視覚的推論タスクで共有される構造化された「カウント回路」を明らかにする。
これらの知見に基づいて, 簡便かつ豊富に利用可能な合成画像を利用して, 任意の学習済みLVLMを微調整する, 軽量な介入戦略を提案する。
この微調整の範囲は狭いが、この介入は分配内合成データのカウント精度を高めるだけでなく、分配外カウントのベンチマークでは平均で+8.36%向上し、Qwen2.5-VLの複雑な視覚的推論タスクでは+1.54%向上した。
これらの知見は、視覚的推論におけるカウントの中枢的かつ影響力のある役割を浮き彫りにし、カウント機構の強化による全体的な視覚的推論能力向上のための潜在的経路を示唆している。
関連論文リスト
- Not All Tokens See Equally: Perception-Grounded Policy Optimization for Large Vision-Language Models [38.47027398567909]
Perception-Grounded Policy Optimization (PGPO)は、トークンレベルでのメリットを動的に再評価する、新しいきめ細かなクレジット割り当てフレームワークである。
PGPOは,言語的先行音からの勾配雑音を抑えつつ,視覚的に依存するトークンの学習信号を積極的に増幅することを示す。
理論的および実証的な分析は、PGPOが勾配の分散を効果的に減少させ、訓練の崩壊を防ぎ、頑健で知覚的なマルチモーダル推論のための強力な正則化剤として機能することを確認する。
論文 参考訳（メタデータ） (2026-04-02T09:53:20Z) - Vision-aligned Latent Reasoning for Multi-modal Large Language Model [82.26044667101011]
VaLR(Vision-aligned Latent Reasoning)は、思考の連鎖の推論ステップの前に動的に視覚対応の潜在トークンを生成するフレームワークである。
VaLRは、MLLMの中間埋め込みを視覚エンコーダのものと整合させることにより、推論中の視覚的知識の保存を訓練する。
論文 参考訳（メタデータ） (2026-02-04T12:04:02Z) - Downscaling Intelligence: Exploring Perception and Reasoning Bottlenecks in Small Multimodal Models [13.301879353093398]
大規模言語モデル(LLM)の容量削減がマルチモーダル能力に与える影響について検討する。
LLMのダウンスケーリングは、LLMから受け継いだ能力よりも、視覚能力に影響を与える。
我々は視覚的抽出チューニングを導入し、タスク全体にわたって命令関連視覚的詳細を一貫して抽出するようにモデルを明示的に訓練する。
論文 参考訳（メタデータ） (2025-11-21T18:43:01Z) - Unleashing Perception-Time Scaling to Multimodal Reasoning Models [60.578179197783754]
推論時間スケーリングの最近の進歩は、LVLM(Large Vision-Language Models)の推論能力を大幅に向上させた。
この成功に触発されて、同様の戦略がマルチモーダル推論に適用されたが、視覚的知覚への影響は未だ不明である。
本稿では,トークンに富む知覚を促進する新しいパラダイムである知覚時間スケーリング(PTS)を提案し,複雑な知覚問題を中間的抽出可能なサブプロブレムに分解する。
論文 参考訳（メタデータ） (2025-10-10T03:17:52Z) - Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models [63.69856480318313]
AGILEは、対話的なプロセスとしてジグソー解決を定式化し、モデルが環境に徐々に関与できるようにする。
我々は AGILE がジグソータスクの性能を大幅に向上させることを示す。
また、9つの一般的な視覚タスクに対して強力な一般化を示し、平均3.1%の改善を実現した。
論文 参考訳（メタデータ） (2025-10-01T17:58:05Z) - HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models [60.028070589466445]
本稿では,コンテンツ適応型トークン予算配分と関数対応トークン選択を統合したフレームワークHEROを提案する。
本研究は、HR-LVLMにおける効率的な推論に対する経験的洞察と実践的解決策の両方を提供する。
論文 参考訳（メタデータ） (2025-09-16T13:22:08Z) - Top-Down Compression: Revisit Efficient Vision Token Projection for Visual Instruction Tuning [70.57180215148125]
ビジュアルインストラクションチューニングは、大きな言語モデルで視覚世界を理解できるようにすることを目的としている。
既存の手法は、精度と効率の間の難解なトレードオフに悩まされることが多い。
LLaVA-Meteorは,コア情報を妥協することなく,視覚トークンを戦略的に圧縮する手法である。
論文 参考訳（メタデータ） (2025-05-17T10:22:29Z) - LVLM-COUNT: Enhancing the Counting Ability of Large Vision-Language Models [5.892066196730199]
大規模視覚言語モデル(LVLM)は、タスクの数え上げに苦慮していることが知られている。
多数のオブジェクトに対するLVLMのカウント能力を向上する,シンプルで効果的なベースライン手法を提案する。
このアプローチの有効性を,さまざまなデータセットやベンチマークで実証する。
論文 参考訳（メタデータ） (2024-12-01T05:50:22Z) - LLaVA-CoT: Let Vision Language Models Reason Step-by-Step [34.32147663809707]
LLaVA-CoTは、自律的な多段階推論を行うために設計された大型ビジョンランゲージモデル(VLM)である。
チェーン・オブ・シークレットのプロンプトとは異なり、LLaVA-CoTは独立に要約、視覚的解釈、論理的推論、結論生成の逐次的な段階に関与する。
100kのトレーニングサンプルとテストタイムのスケーリングだけで、LLaVA-CoTは、幅広いマルチモーダル推論ベンチマークでベースモデルを9.4%上回っている。
論文 参考訳（メタデータ） (2024-11-15T18:58:31Z) - Measuring and Improving Chain-of-Thought Reasoning in Vision-Language Models [61.28463542324576]
視覚言語モデル(VLM)は近年,人間のような出力を生成できる視覚アシスタントとして,強力な有効性を示している。
我々は、既存の最先端のVLMを評価し、最高の性能モデルでさえ、強力な視覚的推論能力と一貫性を示すことができないことを発見した。
本稿では,VLMの推論性能と一貫性の向上を目的とした2段階トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-08T17:49:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。