論文の概要: Enhancing Perception Capabilities of Multimodal LLMs with Training-free Fusion

• arxiv url: http://arxiv.org/abs/2412.01289v1
• Date: Mon, 02 Dec 2024 09:02:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:49:55.305652
• Title: Enhancing Perception Capabilities of Multimodal LLMs with Training-free Fusion
• Title（参考訳）: 訓練不要核融合による多モードLDMの知覚能力向上
• Authors: Zhuokun Chen, Jinwu Hu, Zeshuai Deng, Yufeng Wang, Bohan Zhuang, Mingkui Tan,
• Abstract要約: マルチモーダルLLM (Multimodal LLMs) は、視覚エンコーダと言語モデルとの整合による視覚能力を備えた言語モデルである。 MLLMの視覚知覚を高める既存の方法は、しばしばより強力な視覚エンコーダを設計する。 市販のMLLMから複数の視覚エンコーダを効率的に活用する新しい統合フレームワークであるVisionFuseを紹介する。
• 参考スコア（独自算出の注目度）: 40.56646959926701
• License:
• Abstract: Multimodal LLMs (MLLMs) equip language models with visual capabilities by aligning vision encoders with language models. Existing methods to enhance the visual perception of MLLMs often involve designing more powerful vision encoders, which requires exploring a vast design space and re-aligning each potential encoder with the language model, resulting in prohibitively high training costs. In this paper, we introduce VisionFuse, a novel integration framework that efficiently utilizes multiple vision encoders from off-the-shelf MLLMs to enhance visual perception without requiring additional training. Our approach is motivated by the observation that different MLLMs tend to focus on distinct regions given the same query and image. Moreover, we find that the feature distributions of vision encoders within an MLLM family, a group of MLLMs sharing the same pretrained LLM, are highly aligned. Building on these insights, VisionFuse enriches the visual context by concatenating the tokens generated by the vision encoders of selected MLLMs within a family. By merging the parameters of language models from these MLLMs, VisionFuse allows a single language model to align with various vision encoders, significantly reducing deployment overhead. We conduct comprehensive evaluations across multiple multimodal benchmarks using various MLLM combinations, demonstrating substantial improvements in multimodal tasks. Notably, when integrating MiniGemini-8B and SLIME-8B, VisionFuse achieves an average performance increase of over 4%.
• Abstract（参考訳）: マルチモーダルLLM (Multimodal LLMs) は、視覚エンコーダと言語モデルとの整合による視覚能力を備えた言語モデルである。 MLLMの視覚的知覚を高める既存の手法では、より強力な視覚エンコーダを設計することが多い。 本稿では、市販のMLLMから複数の視覚エンコーダを効率よく利用し、追加の訓練を必要とせずに視覚知覚を向上させる新しい統合フレームワークであるVisionFuseを紹介する。 我々のアプローチは、異なるMLLMが同じクエリとイメージの異なる領域に注目する傾向にあるという観察に動機づけられている。 さらに、MLLMファミリー内の視覚エンコーダの特徴分布は、同じ事前訓練されたLLMを共有するMLLMのグループと高度に一致していることが判明した。 これらの洞察に基づいて、VisionFuseは、家族内で選択されたMLLMのビジョンエンコーダによって生成されるトークンを連結することにより、視覚的コンテキストを強化する。 これらのMLLMから言語モデルのパラメータをマージすることで、VisionFuseは単一の言語モデルがさまざまなビジョンエンコーダと整合し、デプロイメントオーバーヘッドを大幅に削減する。 様々なMLLM組み合わせを用いて複数のマルチモーダルベンチマークを網羅的に評価し、マルチモーダルタスクの大幅な改善を実証する。 注目すべきは、MiniGemini-8BとSLIME-8Bを統合する場合、VisionFuseは平均4%以上のパフォーマンス向上を達成することだ。

関連論文リスト

• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• SEA: Supervised Embedding Alignment for Token-Level Visual-Textual Integration in MLLMs [40.74693126923826]
  MLLM(Multimodal Large Language Models)は近年,知覚能力や推論能力が著しく向上している。 イメージレベルの監督を施したトレーニングアダプタは、しばしば重大なミスアライメントをもたらす。 本稿では,視覚言語による事前学習モデルを活用したトークンレベルのアライメント手法であるSupervised Embedding Alignment (SEA)を紹介する。
  論文  参考訳（メタデータ） (2024-08-21T17:58:02Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Browse and Concentrate: Comprehending Multimodal Content via prior-LLM Context Fusion [70.9767518332692]
  LLMを事前訓練された視覚モデルに組み込んだマルチモーダル大規模言語モデル(MLLM)は、近年、多様な視覚言語タスクにまたがる印象的なパフォーマンスを実証している。 しかし、複数の画像を含む文脈を理解するには不十分である。 本稿では,2つのフェーズ・パラダイムであるブラウズ・アンド・集中型を提案し,より深いマルチモーダルコンテキスト融合を実現する。
  論文  参考訳（メタデータ） (2024-02-19T14:59:07Z)
• Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage and Sharing in LLMs [72.49064988035126]
  マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。 具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。 実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
  論文  参考訳（メタデータ） (2023-11-27T12:29:20Z)
• InfMLLM: A Unified Framework for Visual-Language Tasks [44.29407348046122]
  マルチモーダルな大言語モデル (MLLM) が注目されている。 この作業は、LLMがより視覚的な言語に関連したタスクに取り組むことを可能にすることを目的としている。 InfMLLMは、最先端(SOTA)パフォーマンスまたは最近のMLLMに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-11-12T09:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。