論文の概要: To Preserve or To Compress: An In-Depth Study of Connector Selection in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2410.06765v1
• Date: Wed, 9 Oct 2024 10:53:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 03:40:32.212768
• Title: To Preserve or To Compress: An In-Depth Study of Connector Selection in Multimodal Large Language Models
• Title（参考訳）: 保存・圧縮:多モーダル大言語モデルにおけるコネクタ選択の深い研究
• Authors: Junyan Lin, Haoran Chen, Dawei Zhu, Xiaoyu Shen,
• Abstract要約: 本稿では,コネクタがマルチモーダル大言語モデル(MLLM)の性能に与える影響を系統的に検討する。 コネクタを特徴保存型と特徴圧縮型に分類する。 本研究は,視覚情報の詳細な保持能力により,細粒度認知タスクにおいて,特徴保存コネクタが優れていることを明らかにした。 対照的に、機能圧縮コネクタは、きめ細かな知覚タスクでは効果が低いが、顕著な速度優位性を提供し、きめ細かな知覚タスクや強調タスクでは相容れない。
• 参考スコア（独自算出の注目度）: 11.13176491856196
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, multimodal large language models (MLLMs) have garnered significant attention from both industry and academia. However, there is still considerable debate on constructing MLLM architectures, particularly regarding the selection of appropriate connectors for perception tasks of varying granularities. This paper systematically investigates the impact of connectors on MLLM performance. Specifically, we classify connectors into feature-preserving and feature-compressing types. Utilizing a unified classification standard, we categorize sub-tasks from three comprehensive benchmarks, MMBench, MME, and SEED-Bench, into three task types: coarse-grained perception, fine-grained perception, and reasoning, and evaluate the performance. Our findings reveal that feature-preserving connectors excel in \emph{fine-grained perception} tasks due to their ability to retain detailed visual information. In contrast, feature-compressing connectors, while less effective in fine-grained perception tasks, offer significant speed advantages and perform comparably in \emph{coarse-grained perception} and \emph{reasoning} tasks. These insights are crucial for guiding MLLM architecture design and advancing the optimization of MLLM architectures.
• Abstract（参考訳）: 近年,マルチモーダル・大規模言語モデル (MLLM) が産学・産学ともに注目されている。 しかし、MLLMアーキテクチャの構築、特に様々な粒度の認識タスクに適したコネクタの選択については、まだかなりの議論がある。 本稿では,コネクタがMLLM性能に与える影響を系統的に検討する。 具体的には,コネクタを特徴保存型と特徴圧縮型に分類する。 統一された分類基準を用いて,MMBench,MME,SEED-Benchの3つの総合的なベンチマークから,粗粒度知覚,微粒度知覚,推論の3つのタスクタイプに分類し,性能評価を行う。 以上の結果から, 機能保存コネクタは, 詳細な視覚情報を保持する能力により, タスクにおいて優れることが明らかとなった。 対照的に、機能圧縮コネクタは、きめ細かい知覚タスクでは効果が低いが、顕著な速度優位性を提供し、 \emph{coarse-fine perception} タスクと \emph{reasoning} タスクで相補的に機能する。 これらの知見はMLLMアーキテクチャ設計の指導とMLLMアーキテクチャの最適化の推進に不可欠である。

関連論文リスト

• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning [44.497776004372724]
  MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて大きな進歩を遂げている。 MG-LLaVAは,多粒度視覚フローを組み込むことで,モデルの視覚処理能力を向上する革新的MLLMである。 さらに, 物体認識能力を向上するため, オフライン検出器によって識別された境界ボックスから得られる物体レベルの特徴を取り入れた。
  論文  参考訳（メタデータ） (2024-06-25T17:55:11Z)
• MMRel: A Relation Understanding Dataset and Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、Multi-Modal Large Language Models (MLLM)とのオブジェクト間関係を研究するための包括的データセットである。 MMRelには3つの特徴がある: (i) 大規模かつ高い多様性を保証する3つの異なるドメインから得られる15K以上の質問応答ペア; (ii) MLLMが幻覚によってしばしば失敗する非常に珍しい関係を持つサブセットを含む; (iii) オブジェクト間関係のために手作業で検証された高品質なラベルを提供する。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• TextHawk: Exploring Efficient Fine-Grained Perception of Multimodal Large Language Models [9.232693392690702]
  TextHawkは文書指向マルチモーダル言語モデル(MLLM)である。 4つの専用コンポーネントを設計することで、効率的な微粒化知覚を探索するように設計されている。 汎用MLLMベンチマークと文書指向MLLMベンチマークの両方で広範な実験を行い、TextHawkが最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-14T09:48:37Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Honeybee: Locality-enhanced Projector for Multimodal LLM [8.541469408161495]
  マルチモーダル大言語モデル(MLLM)を用いた事前学習型視覚エンコーダのブリッジにおける視覚プロジェクタの役割 i)視覚的トークン数管理の柔軟性,MLLMの全体的な効率に不可欠なこと,および(ii)視覚的特徴から局所的なコンテキストを保存すること,および空間的理解に不可欠なこと,の2つの重要なプロジェクター特性を同定する。 本稿では,2つの望ましい特性を効果的に満たし,フレキシブルかつ局所性に富んだ新しいプロジェクタ設計を提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:59:06Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。