論文の概要: Why MLLMs Struggle to Count: Overcoming Individuation and Aggregation Bottlenecks with ConvStack

• arxiv url: http://arxiv.org/abs/2609.37096v1
• Date: Tue, 29 Sep 2026 09:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.373203
• Title: Why MLLMs Struggle to Count: Overcoming Individuation and Aggregation Bottlenecks with ConvStack
• Title（参考訳）: MLLMが数えきれない理由 - ConvStackによるIndividuationとAggregation Bottleneckの克服
• Abstract要約: MLLM(Multimodal Large Language Models)は、細粒度の視覚的数え上げに一貫して苦労するが、根本原因はよく分かっていない。 本研究では,MLLMのグローバルアテンションパイプラインに固有の2つの重要なボトルネックを同定し,この障害モードの力学解析を行う。 タスクのカウントのみを微調整することで、一般的な視覚能力に妥協することなく、高密度なオブジェクトカウントとより広い空間理解ベンチマークを大幅に改善する。
• 参考スコア（独自算出の注目度）: 36.84020656140942
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Large Language Models (MLLMs) consistently struggle with fine-grained visual counting, yet the underlying causes remain poorly understood. In this work, we present a mechanistic analysis of this failure mode, identifying two critical bottlenecks inherent to the global attention pipeline of MLLMs. First, we reveal an individuation bottleneck stemming from image patchification: because Vision Transformers process patches independently, they struggle to group fragmented geometric features across boundaries into distinct object representations. Second, we identify a collapse in the subsequent counting aggregation process, where representation separation rapidly diminishes as numerosity increases due to attention compression. Identifying and formalizing these twin bottlenecks constitutes our first major contribution. To overcome them, we propose ConvStack, a lightweight architecture that operates directly in the visual token space to explicitly aggregate and inject local spatial structures via zero-initialized residual connections. By explicitly addressing the individuation bottleneck, ConvStack provides unambiguous geometric evidence for downstream aggregation. Remarkably, by fine-tuning exclusively on counting tasks, the model achieves substantial improvements in dense object counting and broader spatial understanding benchmarks, without compromising on general visual capabilities.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、細粒度の視覚的数え上げに一貫して苦労するが、根本原因はよく分かっていない。 本研究では,MLLMのグローバルアテンションパイプラインに固有の2つの重要なボトルネックを同定し,この障害モードの力学解析を行う。 視覚変換器は個別にパッチを処理するため、境界を越えて断片化された幾何学的特徴を別個のオブジェクト表現にまとめるのに苦労する。 第2に、注意圧縮による数奇性の増加に伴い、表現分離が急速に減少するカウントアグリゲーションプロセスの崩壊を同定する。 これらの双子のボトルネックを特定し、形式化するのが、私たちの最初の主要な貢献です。 本研究では,視覚トークン空間内で直接動作する軽量アーキテクチャであるConvStackを提案し,ゼロ初期化残差接続を介して局所空間構造を明示的に集約・注入する。 個別化のボトルネックに明示的に対処することで、ConvStackは下流のアグリゲーションに関する曖昧な幾何学的証拠を提供する。 注目すべきは、タスクの数え方だけを微調整することで、一般的な視覚能力を損なうことなく、高密度なオブジェクトの数え方とより広い空間理解ベンチマークを大幅に改善する。

関連論文リスト

• Look Less, Reason More: Block-wise Attention Skipping for Efficient Multimodal LLMs [89.7106332677868]
  意味進化から空間的相互作用を分離する学習自由推論パラダイムであるVisual-Skipを提案する。 V-Skipは、ブロックワイドの空間性を達成するために、冗長な視覚的注意を効果的に回避し、様々なMLLM間で94.16%から100.31%のパフォーマンス維持を維持している。
  論文  参考訳（メタデータ） (2026-06-07T08:32:13Z)
• Deep Global Clustering for Hyperspectral Image Segmentation: Concepts, Applications, and Open Challenges [1.9116784879310027]
  ハイパースペクトルイメージング(HSI)解析は、利用可能なメモリを超える大量のデータ量のために計算ボトルネックに直面している。 本稿では,メモリ効率の高いHSIセグメンテーションの概念フレームワークであるDeep Global Clustering (DGC)について述べる。 DGCは、重複するリージョンを持つ小さなパッチを使用して一貫性を強制し、コンシューマハードウェア上で30分未満のトレーニングを可能にする。
  論文  参考訳（メタデータ） (2025-12-30T12:10:43Z)
• LIRA: Inferring Segmentation in Large Multi-modal Models with Local Interleaved Region Assistance [54.683384204063934]
  大規模マルチモーダルモデル(LMM)は不正確なセグメンテーションと幻覚的理解に苦しむ。 視覚的理解とセグメンテーションの相補的関係を生かしたフレームワークであるLIRAを提案する。 LIRAはセグメンテーションと理解タスクの両方で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-07-08T07:46:26Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• Deep Multi-View Subspace Clustering with Anchor Graph [11.291831842959926]
  アンカーグラフ(DMCAG)を用いた深層多視点サブスペースクラスタリング手法を提案する。 DMCAGは各ビューの埋め込み機能を独立して学習し、サブスペース表現を得るために使用される。 本手法は他の最先端手法よりも優れたクラスタリング性能を実現する。
  論文  参考訳（メタデータ） (2023-05-11T16:17:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。