論文の概要: Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis

• arxiv url: http://arxiv.org/abs/2606.19053v1
• Date: Wed, 17 Jun 2026 13:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.178344
• Title: Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis
• Title（参考訳）: 細粒度画像タスクにおける大規模視覚領域モデルのベンチマーク:評価から診断まで
• Authors: Hong-Tao Yu, Chen-Wei Xie, Yuxin Peng, Serge Belongie, Xiu-Shen Wei,
• Abstract要約: 我々は1100万の質問と0.28万の画像を含む総合的なきめ細かい評価ベンチマークであるFG-BMKを紹介する。 現在のLVLMは、視覚的表現、セマンティックグラウンドディング、モダリティアライメント、カテゴリーレベルの知識において、相互に絡み合ったボトルネックから生じる障害を伴って、微粒化認識器が不十分なままである。
• 参考スコア（独自算出の注目度）: 63.49939245944781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Vision-Language Models (LVLMs) have demonstrated remarkable multimodal perception and reasoning capabilities. While numerous benchmarks have evaluated LVLMs from holistic or task-specific perspectives, their capabilities on fine-grained image tasks-fundamental to computer vision-remain insufficiently understood. To address this gap, we introduce FG-BMK, a comprehensive fine-grained evaluation benchmark containing 1.01 million questions and 0.28 million images, covering diverse scenarios from common object-centric domains to specialized domains. FG-BMK jointly evaluates dialogue-level fine-grained semantic recognition and feature-level visual discriminability through human-oriented and machine-oriented paradigms, enabling diagnostic analysis of whether LVLM failures arise from insufficient visual representations, weak visual-to-semantic grounding, or limited fine-grained knowledge. Through extensive experiments on a diverse set of representative LVLMs/VLMs, we find that current LVLMs remain inadequate fine-grained recognizers, with failures arising from intertwined bottlenecks in visual representations, semantic grounding, modality alignment, and category-level knowledge. We further analyze training design factors for improving fine-grained capabilities and examine how visual and linguistic perturbations affect LVLM predictions. These findings provide diagnostic insights into the limitations of current LVLMs and offer guidance for future data construction and model design in developing more reliable LVLMs for fine-grained visual tasks. Our code is open-source and available at https://fg-bmk.github.io/.
• Abstract（参考訳）: LVLM(Large Vision-Language Models)の最近の進歩は、目覚ましいマルチモーダル認識と推論能力を示している。 多くのベンチマークでは、LVLMを全体的あるいはタスク固有の視点から評価しているが、細粒度の画像タスクに対する能力は、コンピュータビジョンに基礎的なものであり、十分に理解されていない。 このギャップに対処するため、FG-BMKは1100万の質問と0.28万の画像を含む総合的なきめ細かい評価ベンチマークであり、一般的なオブジェクト中心のドメインから特殊なドメインまで多様なシナリオをカバーする。 FG-BMKは、人間指向や機械指向のパラダイムを通じて、対話レベルの微粒なセマンティック認識と特徴レベルの視覚的識別性を共同評価し、LVLMの失敗が不十分な視覚表現、弱い視覚的・セマンティックグラウンド、限られた微粒な知識から生じるかどうかの診断分析を可能にする。 多様なLVLM/VLMの多種多様な実験を通して、現在のLVLMは、視覚的表現、セマンティックグラウンドディング、モダリティアライメント、カテゴリーレベルの知識において、相互に絡み合ったボトルネックから生じる障害によって生じる、微粒化認識器が不十分であることがわかった。 さらに,視覚的および言語的摂動がLVLM予測に与える影響について検討した。 これらの知見は、現在のLVLMの限界に関する診断的知見を提供し、より信頼性の高いLVLMの開発において、将来のデータ構築とモデル設計のためのガイダンスを提供する。 私たちのコードはオープンソースで、https://fg-bmk.github.io/で公開されています。

関連論文リスト

• Understanding the Fine-Grained Knowledge Capabilities of Vision-Language Models [42.79282247484499]
  視覚言語モデル(VLM)は、視覚的推論、文書理解、マルチモーダル対話など、幅広い視覚的質問応答ベンチマークで大きく進歩している。 最近の研究では、これらのモデルが、きめ細かい視覚的知識をテストする従来の画像分類ベンチマークに後れを取っていることが示されている。 我々は、細粒度分類ベンチマークにおいて、多数の最近のVLMをテストし、細粒度知識と他のビジョンベンチマークとの切り離しにおける潜在的な要因を特定した。
  論文  参考訳（メタデータ） (2026-02-19T22:07:29Z)
• Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: A Comprehensive Evaluation [53.84282335629258]
  我々は、FG-BMKと呼ばれる包括的きめ細かい評価ベンチマークを導入し、1.01万の質問と0.33万の画像を含む。 本評価では,人間指向と機械指向の両方の観点からLVLMを体系的に検討する。 トレーニングパラダイム,モダリティアライメント,摂動感受性,および細粒度カテゴリー推論がタスクパフォーマンスに与える影響について,重要な知見を明らかにした。
  論文  参考訳（メタデータ） (2025-04-21T09:30:41Z)
• Finer: Investigating and Enhancing Fine-Grained Visual Concept Recognition in Large Vision Language Models [57.95366341738857]
  詳細な分析では、命令調整されたLVLMはモダリティギャップを示し、同じ概念に対応するテキスト入力と視覚入力の相違を示す。 我々は,LVLMの細粒度視覚理解能力を評価するために,複数の属性中心評価ベンチマークであるFinerを提案し,説明可能性を大幅に改善した。
  論文  参考訳（メタデータ） (2024-02-26T05:43:51Z)
• Behind the Magic, MERLIM: Multi-modal Evaluation Benchmark for Large Image-Language Models [50.653838482083614]
  本稿では,IT-LVLMの基本的なコンピュータビジョンタスクにおける能力を評価するために,スケーラブルなテストベッドを提案する。 MERLIMには300K以上の画像検索ペアが含まれており、IT-LVLMにおけるクロスモーダルな"ハロシン化"イベントの検出に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-03T16:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。