論文の概要: Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2501.15140v2
• Date: Fri, 14 Feb 2025 02:57:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:06:08.222816
• Title: Analyzing and Boosting the Power of Fine-Grained Visual Recognition for Multi-modal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルのための細粒度視覚認識のパワーの解析と強化
• Authors: Hulingxiao He, Geng Li, Zijun Geng, Jinglin Xu, Yuxin Peng,
• Abstract要約: Finedeficsは、トレーニングフェーズにオブジェクトの情報属性記述を組み込むことで、モデルのFGVR能力を向上するMLLMである。 我々は、オブジェクト-属性対と属性-カテゴリ対を同時に比較学習し、類似しているが誤ったカテゴリの例をハードネガティブとして利用する。 複数の人気のあるFGVRデータセットに対する広範囲な評価は、Finedeficsが既存のMLLMを同等のパラメータサイズで上回っていることを示している。
• 参考スコア（独自算出の注目度）: 31.34575955517015
• License:
• Abstract: Multi-modal large language models (MLLMs) have shown remarkable abilities in various visual understanding tasks. However, MLLMs still struggle with fine-grained visual recognition (FGVR), which aims to identify subordinate-level categories from images. This can negatively impact more advanced capabilities of MLLMs, such as object-centric visual question answering and reasoning. In our study, we revisit three quintessential capabilities of MLLMs for FGVR, including object information extraction, category knowledge reserve, object-category alignment, and position of the root cause as a misalignment problem. To address this issue, we present Finedefics, an MLLM that enhances the model's FGVR capability by incorporating informative attribute descriptions of objects into the training phase. We employ contrastive learning on object-attribute pairs and attribute-category pairs simultaneously and use examples from similar but incorrect categories as hard negatives, naturally bringing representations of visual objects and category names closer. Extensive evaluations across multiple popular FGVR datasets demonstrate that Finedefics outperforms existing MLLMs of comparable parameter sizes, showcasing its remarkable efficacy. The code is available at https://github.com/PKU-ICST-MIPL/Finedefics_ICLR2025.
• Abstract（参考訳）: MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて顕著な能力を示す。 しかし、MLLMは、画像から下位レベルのカテゴリを特定することを目的とした、きめ細かい視覚認識(FGVR)に苦慮している。 これは、オブジェクト中心の視覚的質問応答や推論など、MLLMのより高度な機能に悪影響を及ぼす可能性がある。 本研究では,FGVRにおけるMLLMの3つの重要な機能について再検討する。対象情報抽出,カテゴリ知識保護,オブジェクトカテゴリアライメント,根本原因の位置等である。 この問題に対処するために、トレーニングフェーズにオブジェクトの情報属性記述を組み込むことで、モデルのFGVR能力を向上するMLLMであるFinedeficsを提案する。 オブジェクト-属性対と属性-カテゴリ対を同時に比較学習し、類似しているが誤ったカテゴリの例をハードネガティブとして使用し、視覚オブジェクトとカテゴリ名の表現を自然に近づける。 複数の人気のあるFGVRデータセットに対する広範囲な評価は、Finedeficsが既存のMLLMを同等のパラメータサイズで上回っており、その顕著な有効性を示していることを示している。 コードはhttps://github.com/PKU-ICST-MIPL/Finedefics_ICLR2025で公開されている。

関連論文リスト

• MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning [44.497776004372724]
  MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて大きな進歩を遂げている。 MG-LLaVAは,多粒度視覚フローを組み込むことで,モデルの視覚処理能力を向上する革新的MLLMである。 さらに, 物体認識能力を向上するため, オフライン検出器によって識別された境界ボックスから得られる物体レベルの特徴を取り入れた。
  論文  参考訳（メタデータ） (2024-06-25T17:55:11Z)
• GSR-BENCH: A Benchmark for Grounded Spatial Reasoning Evaluation via Multimodal LLMs [3.2688425993442696]
  画像中の物体間の空間的関係を理解する能力は、視覚的推論の重要な構成要素である。 我々は、以前リリースされたWhat'sUpデータセットを拡張し、空間関係理解のための新しい包括的評価を提案する。
  論文  参考訳（メタデータ） (2024-06-19T06:15:26Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition [78.97487780589574]
  MLLM(Multimodal Large Language Models)は、細粒度カテゴリの分類において優れている。 本稿では,MLLMの検索とランク付けのための拡張手法を提案する。 提案手法は, 微粒化認識における固有の限界に対処するだけでなく, モデルの包括的知識基盤も維持する。
  論文  参考訳（メタデータ） (2024-03-20T17:59:55Z)
• Q-Bench+: A Benchmark for Multi-modal Foundation Models on Low-level Vision from Single Images to Pairs [71.07108539262721]
  低レベルの視覚に関連する人間の言語応答をエミュレートするためのベンチマーク設定を設計する。 我々は,MLLMの低レベルの認識関連質問応答と記述評価を,単一画像から画像ペアへ拡張する。 複数のMLLMが単一の画像に対して十分な低レベルの視覚能力を持つことを示したが、GPT-4Vのみが人間よりも高い精度で比較できる。
  論文  参考訳（メタデータ） (2024-02-11T06:44:11Z)
• Proximity QA: Unleashing the Power of Multi-Modal Large Language Models for Spatial Proximity Analysis [45.62657605766754]
  MLLM(Multi-modal large language model)は、目覚しい視覚言語能力を示す。 Proximity QAはMLLMが画像内のオブジェクト間の近接関係を推測できるように設計された新しいフレームワークである。 我々は,深度知覚と近接解析における近接性QAの優れた能力を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-01-31T14:21:49Z)
• Democratizing Fine-grained Visual Recognition with Large Language Models [80.49811421427167]
  画像から下位レベルのカテゴリを識別することは、コンピュータビジョンにおける長年の課題であり、きめ細かい視覚認識(FGVR)と呼ばれる。 FGVRシステムの開発における大きなボトルネックは、高品質なペアのエキスパートアノテーションの必要性によって引き起こされる。 本研究では,大規模言語モデル (LLM) の世界の知識をプロキシとして内部的に活用する,きめ細かなセマンティックカテゴリー推論(FineR)を提案する。 トレーニングフリーのFineRは、最先端のFGVRや言語、ビジョンアシスタントモデルより優れており、野生や新しい領域で働くことを約束しています。
  論文  参考訳（メタデータ） (2024-01-24T22:28:26Z)
• CLAMP: Contrastive LAnguage Model Prompt-tuning [89.96914454453791]
  このように適応すれば,大規模な言語モデルでも優れた画像分類性能が得られることを示す。 我々のアプローチは最先端のmLLMを13%上回り、カスタムテキストモデルによる対照的な学習をわずかに上回ります。
  論文  参考訳（メタデータ） (2023-12-04T05:13:59Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)
• RefSAM: Efficiently Adapting Segmenting Anything Model for Referring Video Object Segmentation [53.4319652364256]
  本稿では,ビデオオブジェクトのセグメンテーションを参照するためのSAMの可能性を探るRefSAMモデルを提案する。 提案手法は,Cross-RValModalを用いることで,モダリティ学習を向上させるためにオリジナルのSAMモデルに適応する。 我々は、言語と視覚の特徴を効果的に調整し、融合させるために、パラメータ効率のチューニング戦略を採用している。
  論文  参考訳（メタデータ） (2023-07-03T13:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。