論文の概要: Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2412.05939v1
• Date: Sun, 08 Dec 2024 13:45:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:58:59.338108
• Title: Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models
• Title（参考訳）: マルチモーダル大言語モデルのための多言語概念アノテーションの探索
• Authors: Xiao Xu, Tianhao Niu, Yuxi Xie, Libo Qin, Wanxiang Che, Min-Yen Kan,
• Abstract要約: MLLMのためのMMGiCアノテーション(Multimodal Multi-Grained Concept Annotation)を特徴とする新しいデータセットを提案する。 分析の結果,構造化テンプレートと汎用MLLMフレームワークの下で,多義的な概念アノテーションが相互に統合され,補完されることが明らかとなった。 さらに,12のマルチモーダル理解および生成ベンチマークにおいて,MMGiCと画像キャプチャデータとの公正な比較と効果的な協調関係を検証し,我々の仮説を検証した。
• 参考スコア（独自算出の注目度）: 55.25892137362187
• License:
• Abstract: Multimodal Large Language Models (MLLMs) excel in vision--language tasks by pre-training solely on coarse-grained concept annotations (e.g., image captions). We hypothesize that integrating fine-grained concept annotations (e.g., object labels and object regions) will further improve performance, as both data granularities complement each other in terms of breadth and depth in concept representation. We introduce a new dataset featuring Multimodal Multi-Grained Concept annotations (MMGiC) for MLLMs. In constructing MMGiC, we explore the impact of different data recipes on multimodal comprehension and generation. Our analyses reveal that multi-grained concept annotations integrate and complement each other, under our structured template and a general MLLM framework. We clearly explore and demonstrate the potential of MMGiC to help MLLMs better locate and learn concepts, aligning vision and language at multiple granularities. We further validate our hypothesis by investigating the fair comparison and effective collaboration between MMGiC and image--caption data on 12 multimodal comprehension and generation benchmarks, e.g., their appropriate combination achieve 3.95% and 2.34% absolute improvements over image--caption data alone on POPE and SEED-Bench. Code, data and models will be available at https://github.com/LooperXX/MMGiC.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、粗い概念アノテーション(例:画像キャプション)のみを事前学習することにより、視覚言語タスクに優れる。 より詳細な概念アノテーション(オブジェクトラベルやオブジェクト領域など)を統合することで、データの粒度が概念表現の幅と深さの両面を補完するので、パフォーマンスがさらに向上する、という仮説を立てる。 MLLMのためのMMGiCアノテーション(Multimodal Multi-Grained Concept Annotation)を特徴とする新しいデータセットを提案する。 MMGiCの構築において、異なるデータレシピがマルチモーダル理解と生成に与える影響について検討する。 分析の結果,構造化テンプレートと汎用MLLMフレームワークの下で,多義的な概念アノテーションが相互に統合され,補完されることが明らかとなった。 MLLMが概念をよりよく見つけ、学習し、視覚と言語を複数の粒度で整列させるのに役立つMMGiCの可能性を探り、実証する。 さらに,12のマルチモーダル理解と生成ベンチマークにおけるMMGiCと画像キャプチャデータとの公正な比較と効果的な協調関係,例えば,POPEとSEED-Benchのみを用いた画像キャプチャデータよりも3.95%と2.34%の絶対的な改善を達成できる,という仮説を検証した。 コード、データ、モデルはhttps://github.com/LooperXX/MMGiC.comで入手できる。

関連論文リスト

• GRAPHGPT-O: Synergistic Multimodal Comprehension and Generation on Graphs [34.076036577516895]
  テキストと画像は通常相互接続され、マルチモーダル属性グラフ(MMAG)を形成する MLLMが関係情報 (textiti.e. graph structure) と意味情報 (textiti.e. texts and image) をこのようなグラフに組み込んで、マルチモーダルな理解と生成を行う方法が検討されている。 我々は,MMAGにおける全多モーダル理解と生成を支援するGraphGPT-oを提案する。
  論文  参考訳（メタデータ） (2025-02-17T15:35:36Z)
• NoteLLM-2: Multimodal Large Representation Models for Recommendation [71.87790090964734]
  大規模言語モデル(LLM)は、テキスト理解や埋め込みタスクにおいて、例外的な習熟度を示している。 マルチモーダル表現のポテンシャル、特にアイテムツーイテム(I2I)レコメンデーションについては、未解明のままである。 本稿では,既存のLLMと視覚エンコーダの統合をカスタマイズし,効率的なマルチモーダル表現を実現するエンド・ツー・エンドのファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2024-05-27T03:24:01Z)
• SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models [97.40590590880144]
  MLLM(Multimodality Large Language Model)シリーズを開発した。 我々は、言語、ビジョン、視覚言語タスクで利用可能なリソースを網羅した包括的なデータセットを組み立てる。 パラメータサイズや多言語能力の異なるMLLMのスペクトルを得る。
  論文  参考訳（メタデータ） (2024-02-08T18:59:48Z)
• SPHINX: The Joint Mixing of Weights, Tasks, and Visual Embeddings for Multi-modal Large Language Models [86.478087039015]
  モデル重み、チューニングタスク、視覚埋め込みを併用した多目的多モード大言語モデル(MLLM)を提案する。 提案したジョイントミキシングに基づいて,高解像度画像のきめ細かい外観をより正確に捉えるための効率的な手法を提案する。 今後のMLLM研究におけるジョイントミキシングの探求に光を当てることを願っている。
  論文  参考訳（メタデータ） (2023-11-13T18:59:47Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。