論文の概要: From Glance to Focus: Mitigating Recognition Laziness in MLLMs for Fine-Grained Recognition
- arxiv url: http://arxiv.org/abs/2610.13154v1
- Date: Fri, 09 Oct 2026 07:42:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.459579
- Title: From Glance to Focus: Mitigating Recognition Laziness in MLLMs for Fine-Grained Recognition
- Title(参考訳): ガンスからフォーカスへ:微粒化認識のためのMLLMにおける認識遅延の緩和
- Abstract要約: 本稿では、FGVR遅延を軽減するために、LIVE(Laziness-resstant Visual rEcognition)を提案する。
LIVEは、まずクエリ適応型候補推論を実行し、コンパクトで信頼性のある候補リストを導出する。
LIVEはカテゴリ内特性とカテゴリ間差異をマイニングすることで、カテゴリ固有のFGVRスキルを構築する。
- 参考スコア(独自算出の注目度): 19.019755259880824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) generally fall short of expectations in Fine-Grained Visual Recognition (FGVR), although they exhibit promising FGVR foundations, i.e., visual perception and broad category knowledge. Most existing studies seek to remedy this deficiency by adopting domain-specific post-training, at the risk of compromising generalization to unseen domains. Different from these efforts, in this paper, we revisit the FGVR mechanism underlying MLLMs from both the empirical and theoretical perspectives and uncover an inference-time phenomenon termed FGVR Laziness. In brief, FGVR Laziness refers to the insufficient association between visual cues and category concepts under certain candidate category lists and recognition guidance, leaving the FGVR foundations of MLLMs largely under-utilized. To mitigate FGVR Laziness, we propose Laziness-resIstant Visual rEcognition (LIVE), a training-free framework which jointly refines candidate lists and recognition guidance to elicit the latent FGVR capability of MLLMs. Specifically, LIVE first performs query-adaptive candidate inference to derive a compact yet reliable candidate list. Meanwhile, LIVE constructs category-specific FGVR skills by mining the intra-category characteristics and inter-category differences. Finally, LIVE selectively invokes detailed skill guidance according to recognition uncertainty and category confusion, shifting MLLM-based FGVR from a cursory glance to a focus on associating discriminative visual cues with category concepts. Extensive experiments on 13 benchmarks against 24 state-of-the-art methods spanning fine-grained category recognition, action recognition, and general category recognition, verify the effectiveness and generalizability of LIVE across different MLLM backbones. The code will be released upon acceptance.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)は、一般的にFGVR(Fen-Grained Visual Recognition)の期待に届かなかったが、将来有望なFGVR基盤、すなわち視覚的知覚と幅広いカテゴリーの知識を示す。
既存の研究の多くは、ドメイン固有のポストトレーニングを採用し、目に見えないドメインへの一般化を損なうリスクを負うことにより、この欠陥を治療しようと試みている。
これらの取り組みと異なり、本稿では、MLLMの基礎となるFGVRメカニズムを経験的・理論的両面から再検討し、FGVR遅延という推論時間現象を明らかにする。
簡単に言えば、FGVR Lazinessは、特定の候補カテゴリーリストと認識ガイダンスの下での視覚的手がかりとカテゴリー概念の相互関係が不十分であり、MLLMのFGVR基盤は大部分が未利用のままである。
FGVR遅延を軽減するために,MLLMの潜伏FGVR能力を引き出すために,候補リストと認識指導を共同で洗練する学習自由フレームワークであるLIVEを提案する。
具体的には、LIVEがまずクエリ適応型候補推論を実行して、コンパクトで信頼性の高い候補リストを導出する。
一方、LIVEはカテゴリ内特性とカテゴリ間差異をマイニングすることで、カテゴリ固有のFGVRスキルを構築している。
最後に、LIVEは、認識の不確実性やカテゴリの混乱に応じて詳細なスキルガイダンスを選択的に実行し、MLLMベースのFGVRをカーソリーな視点から、カテゴリー概念と差別的な視覚的手がかりの関連付けに焦点を移す。
13のベンチマークにおいて、細粒度カテゴリ認識、アクション認識、一般カテゴリ認識にまたがる24の最先端手法に対する広範な実験を行い、異なるMLLMバックボーン間でのLIVEの有効性と一般化性を検証する。
コードは受理時にリリースされます。
関連論文リスト
- Fine-R1: Make Multi-modal LLMs Excel in Fine-Grained Visual Recognition by Chain-of-Thought Reasoning [47.868429337792314]
Fine-R1は、ファイングラインド視覚認識用に設計されたR1スタイルのMLLMである。
4ショットのトレーニングだけで、Fine-R1は既存のMLLMよりも優れており、MLLMの推論や、対照的なCLIPモデルも優れている。
論文 参考訳(メタデータ) (2026-02-07T16:16:51Z) - Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs [65.93003087656754]
VisFactorは、よく確立された認知心理学評価から20の視覚中心のサブテストをデジタル化するベンチマークである。
GPT、Gemini、Claude、LLaMA、Qwen、SEEDファミリーから20のフロンティアマルチモーダル言語モデル(MLLM)を評価する。
最高のパフォーマンスモデルは100点中25.19点のスコアしか得られず、精神的な回転、空間的関係推論、図形の識別といったタスクに一貫して失敗する。
論文 参考訳(メタデータ) (2025-02-23T04:21:32Z) - Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models [31.34575955517015]
Finedeficsは、トレーニングフェーズにオブジェクトの情報属性記述を組み込むことで、モデルのFGVR能力を向上するMLLMである。
我々は、オブジェクト-属性対と属性-カテゴリ対を同時に比較学習し、類似しているが誤ったカテゴリの例をハードネガティブとして利用する。
複数の人気のあるFGVRデータセットに対する広範囲な評価は、Finedeficsが既存のMLLMを同等のパラメータサイズで上回っていることを示している。
論文 参考訳(メタデータ) (2025-01-25T08:52:43Z) - RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。
本稿では,MLLMの検索とランク付けのための拡張手法を提案する。
提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
論文 参考訳(メタデータ) (2024-03-20T17:59:55Z) - Democratizing Fine-grained Visual Recognition with Large Language Models [80.49811421427167]
画像から下位レベルのカテゴリを識別することは、コンピュータビジョンにおける長年の課題であり、きめ細かい視覚認識(FGVR)と呼ばれる。
FGVRシステムの開発における大きなボトルネックは、高品質なペアのエキスパートアノテーションの必要性によって引き起こされる。
本研究では,大規模言語モデル (LLM) の世界の知識をプロキシとして内部的に活用する,きめ細かなセマンティックカテゴリー推論(FineR)を提案する。
トレーニングフリーのFineRは、最先端のFGVRや言語、ビジョンアシスタントモデルより優れており、野生や新しい領域で働くことを約束しています。
論文 参考訳(メタデータ) (2024-01-24T22:28:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。