論文の概要: Dense Connector for MLLMs

• arxiv url: http://arxiv.org/abs/2405.13800v1
• Date: Wed, 22 May 2024 16:25:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 23:15:30.218207
• Title: Dense Connector for MLLMs
• Title（参考訳）: MLLM用デンスコネクタ
• Authors: Huanjin Yao, Wenhao Wu, Taojiannan Yang, YuXin Song, Mengxi Zhang, Haocheng Feng, Yifan Sun, Zhiheng Li, Wanli Ouyang, Jingdong Wang,
• Abstract要約: Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
• 参考スコア（独自算出の注目度）: 89.50595155217108
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do we fully leverage the potential of visual encoder in Multimodal Large Language Models (MLLMs)? The recent outstanding performance of MLLMs in multimodal understanding has garnered broad attention from both academia and industry. In the current MLLM rat race, the focus seems to be predominantly on the linguistic side. We witness the rise of larger and higher-quality instruction datasets, as well as the involvement of larger-sized LLMs. Yet, scant attention has been directed towards the visual signals utilized by MLLMs, often assumed to be the final high-level features extracted by a frozen visual encoder. In this paper, we introduce the Dense Connector - a simple, effective, and plug-and-play vision-language connector that significantly enhances existing MLLMs by leveraging multi-layer visual features, with minimal additional computational overhead. Furthermore, our model, trained solely on images, showcases remarkable zero-shot capabilities in video understanding as well. Experimental results across various vision encoders, image resolutions, training dataset scales, varying sizes of LLMs (2.7B->70B), and diverse architectures of MLLMs (e.g., LLaVA and Mini-Gemini) validate the versatility and scalability of our approach, achieving state-of-the-art performance on across 19 image and video benchmarks. We hope that this work will provide valuable experience and serve as a basic module for future MLLM development.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)におけるビジュアルエンコーダの可能性を完全に活用できるだろうか? マルチモーダル理解におけるMLLMの最近の卓越した業績は、学術と産業の両方から広く注目を集めている。 現在のMLLMラットレースでは、主に言語的な側面に焦点が当てられているようだ。 我々は,大規模かつ高品質な命令データセットの出現と,大規模LLMの関与を目撃する。 しかし、スキャンされた注意はMLLMが利用する視覚信号に向けられ、しばしば凍結した視覚エンコーダによって抽出される最後の高次特徴であると考えられている。 本稿では,Dense Connectorについて述べる。Dense Connectorは,マルチレイヤの視覚的特徴を活用することで既存のMLLMを大幅に拡張し,計算オーバーヘッドを最小限に抑える,シンプルで効果的でプラグアンドプレイの視覚言語コネクタである。 さらに,画像のみを訓練した本モデルでは,映像理解にも優れたゼロショット機能を備えている。 様々な視覚エンコーダ、画像解像度、トレーニングデータセットスケール、LLMのさまざまなサイズ(2.7B->70B)、MLLMの多様なアーキテクチャ(例:LLaVA、Mini-Gemini)にわたる実験結果は、我々のアプローチの汎用性とスケーラビリティを検証し、19のイメージおよびビデオベンチマークで最先端のパフォーマンスを達成する。 この作業が貴重な経験を提供し、将来のMLLM開発のための基本的なモジュールとして機能することを願っています。

関連論文リスト

• InternVideo2.5: Empowering Video MLLMs with Long and Rich Context Modeling [56.130911402831906]
  本稿では,LRC(Long and rich context)モデリングによるビデオ大言語モデル(LM)の性能向上を目的とする。 InternVideo2.5の新バージョンを開発し、ビデオの細かい詳細を知覚するオリジナルのMLLMの能力の向上に焦点をあてる。 実験により、このユニークな設計ML LRCは、主流理解ベンチマークにおけるビデオMLLMの結果を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-01-21T18:59:00Z)
• LEO: Boosting Mixture of Vision Encoders for Multimodal Large Language Models [9.660892239615364]
  本研究は、ハイブリッドMLLMのための視覚トークンの融合戦略を探求し、LEOの設計に繋がる。 Leoは、適応後の融合戦略と適応型タイリングを組み込んだデュアルブランチビジョンエンコーダフレームワークを備えた、新しいMLLMである。 LEOは、モデルアーキテクチャやトレーニングレシピを変更することなく、自律運転の専門領域に適応できることを示す。
  論文  参考訳（メタデータ） (2025-01-13T00:29:55Z)
• OLA-VLM: Elevating Visual Perception in Multimodal LLMs with Auxiliary Embedding Distillation [95.78870389271832]
  現代のMLLMを開発するための標準的な慣行は、視覚エンコーダ(s)からLLMに特徴を供給し、自然言語を監督する訓練を行うことである。 目的とする視覚表現の集合からLLMの隠れ表現に知識を抽出する最初の手法であるOLA-VLMを提案する。 OLA-VLMは様々なベンチマークで平均マージンを2.5%向上させ,CV-BenchのDepthタスクでは8.7%向上した。
  論文  参考訳（メタデータ） (2024-12-12T18:55:18Z)
• AIM: Adaptive Inference of Multi-Modal LLMs via Token Merging and Pruning [19.68349294206012]
  マルチモーダルLLMのための学習自由適応推論法を提案する。 最小限の設計により,本手法はビデオと画像の両方に応用できる。 同様の計算コストで,本手法は長いビデオ理解において最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-12-04T11:47:57Z)
• Enhancing Perception Capabilities of Multimodal LLMs with Training-Free Fusion [40.56646959926701]
  マルチモーダルLLM (Multimodal LLMs) は、視覚エンコーダと言語モデルとの整合による視覚能力を備えた言語モデルである。 MLLMの視覚知覚を高める既存の方法は、しばしばより強力な視覚エンコーダを設計する。 市販のMLLMから複数の視覚エンコーダを効率的に活用する新しい統合フレームワークであるVisionFuseを紹介する。
  論文  参考訳（メタデータ） (2024-12-02T09:02:28Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• OneLLM: One Framework to Align All Modalities with Language [86.8818857465443]
  統一フレームワークを用いて8つのモーダルを言語に整合させるMLLMであるOneLLMを提案する。 OneLLMは25の多様なベンチマークで評価され、マルチモーダルキャプション、質問応答、推論などのタスクを含む。
  論文  参考訳（メタデータ） (2023-12-06T18:59:19Z)
• LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge [58.82222646803248]
  MLLM(Multimodal Large Language Models)は、マルチモーダル信号の知覚と理解が可能なLLMを提供する。 既存のMLLMの多くは、大まかに整列された画像テキストペアで事前訓練された視覚エンコーダを採用しており、視覚知識の抽出と推論が不十分である。 本稿では,2段階の視覚的知識を注入することによってMLLMを増強する,デュアルレベルvIsual knedgeOwl eNhanced Multimodal Large Language Model (LION)を提案する。
  論文  参考訳（メタデータ） (2023-11-20T15:56:44Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。