論文の概要: DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception

• arxiv url: http://arxiv.org/abs/2407.08303v1
• Date: Thu, 11 Jul 2024 08:48:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 18:09:27.598537
• Title: DenseFusion-1M: Merging Vision Experts for Comprehensive Multimodal Perception
• Title（参考訳）: DenseFusion-1M:総合マルチモーダル認識のための統合ビジョンエキスパート
• Authors: Xiaotong Li, Fan Zhang, Haiwen Diao, Yueze Wang, Xinlong Wang, Ling-Yu Duan,
• Abstract要約: 高品質な画像テキストデータセットは、多様な視覚的要素と画像記述全体を提供する。 現在のキャプションエンジンは、完全かつ正確なアノテーションを提供していない。 本稿では,低予算かつ高効率なキャプションエンジンを用いた知覚融合法を提案する。
• 参考スコア（独自算出の注目度）: 43.387076189063556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Multimodal Large Language Models (MLLMs) increasingly emphasize complex understanding of various visual elements, including multiple objects, text information, and spatial relations. Their development for comprehensive visual perception hinges on the availability of high-quality image-text datasets that offer diverse visual elements and throughout image descriptions. However, the scarcity of such hyper-detailed datasets currently hinders progress within the MLLM community. The bottleneck stems from the limited perceptual capabilities of current caption engines, which fall short in providing complete and accurate annotations. To facilitate the cutting-edge research of MLLMs on comprehensive vision perception, we thereby propose Perceptual Fusion, using a low-budget but highly effective caption engine for complete and accurate image descriptions. Specifically, Perceptual Fusion integrates diverse perception experts as image priors to provide explicit information on visual elements and adopts an efficient MLLM as a centric pivot to mimic advanced MLLMs' perception abilities. We carefully select 1M highly representative images from uncurated LAION dataset and generate dense descriptions using our engine, dubbed DenseFusion-1M. Extensive experiments validate that our engine outperforms its counterparts, where the resulting dataset significantly improves the perception and cognition abilities of existing MLLMs across diverse vision-language benchmarks, especially with high-resolution images as inputs. The dataset and code are publicly available at https://github.com/baaivision/DenseFusion.
• Abstract（参考訳）: 既存のMLLM(Multimodal Large Language Models)は、複数のオブジェクト、テキスト情報、空間関係など、様々な視覚要素の複雑な理解を強調している。 包括的視覚知覚のための彼らの開発は、多様な視覚要素と画像記述全体を提供する高品質な画像テキストデータセットの可用性に焦点をあてている。 しかし、そのような超詳細なデータセットの不足は、MLLMコミュニティ内での進歩を妨げる。 このボトルネックは、現在のキャプションエンジンの知覚能力の限界に起因している。 そこで我々は,MLLMの包括的視覚知覚における最先端の研究を容易にするために,低予算かつ高効率なキャプションエンジンを用いた知覚融合を提案する。 具体的には、知覚融合(Perceptual Fusion)は、視覚要素に関する明確な情報を提供するために、様々な知覚の専門家を画像の先行として統合し、高度なMLLMの知覚能力を模倣するために、効率的なMLLMを中心的なピボットとして採用する。 我々は、未計算のLAIONデータセットから100万個の高精細画像を選択し、DenseFusion-1Mというエンジンを用いて高精細な記述を生成する。 その結果,既存のMLLMの認識能力と認知能力は,特に高解像度画像を入力として,様々な視覚ベンチマークで大幅に向上することがわかった。 データセットとコードはhttps://github.com/baaivision/DenseFusion.comで公開されている。

関連論文リスト

• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning [44.497776004372724]
  MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて大きな進歩を遂げている。 MG-LLaVAは,多粒度視覚フローを組み込むことで,モデルの視覚処理能力を向上する革新的MLLMである。 さらに, 物体認識能力を向上するため, オフライン検出器によって識別された境界ボックスから得られる物体レベルの特徴を取り入れた。
  論文  参考訳（メタデータ） (2024-06-25T17:55:11Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• From CLIP to DINO: Visual Encoders Shout in Multi-modal Large Language Models [36.41816380074965]
  大規模言語モデル(MLLM)における視覚エンコーダの有効性について検討する。 以上の結果から,CLIPの浅層構造は,接地や領域理解といったきめ細かいタスクに特に有利であることがわかった。 我々は,CLIPとDINOをMergingと統合したシンプルな機能統合戦略であるCOMMを提案する。
  論文  参考訳（メタデータ） (2023-10-13T02:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。