論文の概要: Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model

• arxiv url: http://arxiv.org/abs/2312.12423v1
• Date: Tue, 19 Dec 2023 18:53:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 14:27:35.768995
• Title: Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model
• Title（参考訳）: Jack of All Tasks, Master of Many: Designing General-purpose Coarse-to-Fine Vision-Language Model
• Authors: Shraman Pramanick, Guangxing Han, Rui Hou, Sayan Nag, Ser-Nam Lim, Nicolas Ballas, Qifan Wang, Rama Chellappa, Amjad Almahairi
• Abstract要約: VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。 2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。 また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
• 参考スコア（独自算出の注目度）: 87.01213887685952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability of large language models (LLMs) to process visual inputs has given rise to general-purpose vision systems, unifying various vision-language (VL) tasks by instruction tuning. However, due to the enormous diversity in input-output formats in the vision domain, existing general-purpose models fail to successfully integrate segmentation and multi-image inputs with coarse-level tasks into a single framework. In this work, we introduce VistaLLM, a powerful visual system that addresses coarse- and fine-grained VL tasks over single and multiple input images using a unified framework. VistaLLM utilizes an instruction-guided image tokenizer that filters global embeddings using task descriptions to extract compressed and refined features from numerous images. Moreover, VistaLLM employs a gradient-aware adaptive sampling technique to represent binary segmentation masks as sequences, significantly improving over previously used uniform sampling. To bolster the desired capability of VistaLLM, we curate CoinIt, a comprehensive coarse-to-fine instruction tuning dataset with 6.8M samples. We also address the lack of multi-image grounding datasets by introducing a novel task, AttCoSeg (Attribute-level Co-Segmentation), which boosts the model's reasoning and grounding capability over multiple input images. Extensive experiments on a wide range of V- and VL tasks demonstrate the effectiveness of VistaLLM by achieving consistent state-of-the-art performance over strong baselines across all downstream tasks. Our project page can be found at https://shramanpramanick.github.io/VistaLLM/.
• Abstract（参考訳）: 視覚入力を処理するための大規模言語モデル(LLM)の能力は、汎用的な視覚システムを生み出し、インストラクションチューニングによって様々な視覚言語(VL)タスクを統合する。 しかし、視覚領域における入力出力フォーマットの膨大な多様性のため、既存の汎用モデルはセグメント化とマルチイメージ入力を粗いタスクでひとつのフレームワークに統合することに成功した。 本研究では,統一されたフレームワークを用いて,単一および複数入力画像上の粗大かつきめ細かなVLタスクに対処する強力なビジュアルシステムであるVistaLLMを紹介する。 vistallmは、タスク記述を使用してグローバル埋め込みをフィルタリングし、多数の画像から圧縮および洗練された特徴を抽出する命令誘導イメージトークンを使用する。 さらに、vistallmは勾配対応適応サンプリング技術を用いてバイナリセグメンテーションマスクをシーケンスとして表現し、従来の均一サンプリングよりも大幅に改善している。 所望のVistaLLM能力を強化するために,6.8Mサンプルを用いた包括的粗い命令チューニングデータセットであるCoinItをキュレートする。 また、複数の入力画像に対するモデルの推論と接地能力を高める新しいタスクであるattcoseg (attribute-level co-segmentation)を導入することで、マルチイメージ接地データセットの欠如に対処する。 幅広いV-およびVLタスクに対する広範な実験は、すべての下流タスクにわたる強いベースライン上で一貫した最先端性能を達成することにより、VistaLLMの有効性を示す。 プロジェクトのページはhttps://shramanpramanick.github.io/vistallm/で閲覧できます。

関連論文リスト

• Griffon-G: Bridging Vision-Language and Vision-Centric Tasks via Large Multimodal Models [27.45225442048711]
  CCMD-8Mを導入し、視覚中心のタスクと視覚言語タスクを統一する際のデータ障壁を克服する。 また、Griffon-Gは、単一のエンドツーエンドパラダイム内の視覚中心タスクと視覚言語タスクの両方に対処する一般的な大規模マルチモーダルモデルである。
  論文  参考訳（メタデータ） (2024-10-21T16:30:29Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• Instruction-Guided Visual Masking [25.26544571379426]
  Instruction-guided Visual Masking (IVM) は多様なマルチモーダルモデルと互換性のある多目的な視覚的接地モデルである。 IVMを拡張したマルチモーダルモデルは、タスク関連の画像領域に効果的にフォーカスすることで、複雑な命令との整合性を向上することができる。
  論文  参考訳（メタデータ） (2024-05-30T07:48:32Z)
• Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
  我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。 具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。 MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
  論文  参考訳（メタデータ） (2024-03-29T16:26:20Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• An Efficient General-Purpose Modular Vision Model via Multi-Task Heterogeneous Training [79.78201886156513]
  本稿では、複数の視覚タスクを実行でき、他の下流タスクに効率的に適応できるモデルを提案する。 提案手法は,単一タスク状態モデルに匹敵する結果を達成し,下流タスクの強力な一般化を実証する。
  論文  参考訳（メタデータ） (2023-06-29T17:59:57Z)
• Generative Modeling for Multi-task Visual Learning [40.96212750592383]
  様々な視覚的認知タスクにおいて有用な共有生成モデルを学ぶという,新しい問題を考える。 本稿では,識別型マルチタスクネットワークと生成ネットワークを結合して,汎用的なマルチタスク指向生成モデリングフレームワークを提案する。 我々のフレームワークは、最先端のマルチタスクアプローチよりも一貫して優れています。
  論文  参考訳（メタデータ） (2021-06-25T03:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。