論文の概要: InstructSeg: Unifying Instructed Visual Segmentation with Multi-modal Large Language Models

• arxiv url: http://arxiv.org/abs/2412.14006v1
• Date: Wed, 18 Dec 2024 16:20:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 16:47:50.214501
• Title: InstructSeg: Unifying Instructed Visual Segmentation with Multi-modal Large Language Models
• Title（参考訳）: InstructSeg:マルチモーダル大言語モデルによる指示された視覚的セグメンテーションの統合
• Authors: Cong Wei, Yujie Zhong, Haoxian Tan, Yingsen Zeng, Yong Liu, Zheng Zhao, Yujiu Yang,
• Abstract要約: 本稿では,画像レベルと映像レベルのセグメンテーションと推論セグメンテーションの融合を,IVS(Instructed Visual)として定義する。 具体的には、参照フレームから時間的およびオブジェクト情報を抽出し、包括的な映像理解を容易にするために、オブジェクト認識ビデオ知覚器を用いる。 マルチタスクとエンドツーエンドのトレーニングを活用することで、InstructSegは、さまざまな画像およびビデオセグメンテーションタスクにまたがる優れたパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 37.43195217391341
• License:
• Abstract: Boosted by Multi-modal Large Language Models (MLLMs), text-guided universal segmentation models for the image and video domains have made rapid progress recently. However, these methods are often developed separately for specific domains, overlooking the similarities in task settings and solutions across these two areas. In this paper, we define the union of referring segmentation and reasoning segmentation at both the image and video levels as Instructed Visual Segmentation (IVS). Correspondingly, we propose InstructSeg, an end-to-end segmentation pipeline equipped with MLLMs for IVS. Specifically, we employ an object-aware video perceiver to extract temporal and object information from reference frames, facilitating comprehensive video understanding. Additionally, we introduce vision-guided multi-granularity text fusion to better integrate global and detailed text information with fine-grained visual guidance. By leveraging multi-task and end-to-end training, InstructSeg demonstrates superior performance across diverse image and video segmentation tasks, surpassing both segmentation specialists and MLLM-based methods with a single model. Our code is available at https://github.com/congvvc/InstructSeg.
• Abstract（参考訳）: MLLM(Multi-modal Large Language Models)によって強化された画像領域とビデオ領域のテキスト誘導ユニバーサルセグメンテーションモデルは,近年急速に進歩している。 しかし、これらの手法は特定のドメインに対して個別に開発され、タスク設定とこれら2つの領域におけるソリューションの類似性を見越すことが多い。 本稿では,画像レベルと映像レベルの両方における参照セグメンテーションと推論セグメンテーションの結合を,IVS(Instructed Visual Segmentation)として定義する。 IVS用のMLLMを備えたエンドツーエンドセグメンテーションパイプラインであるInstructSegを提案する。 具体的には、参照フレームから時間的およびオブジェクト情報を抽出し、包括的な映像理解を容易にするために、オブジェクト認識ビデオ知覚器を用いる。 さらに,視覚誘導型多粒性テキスト融合を導入し,大域的および詳細なテキスト情報と詳細な視覚的ガイダンスをよりよく統合する。 マルチタスクとエンドツーエンドのトレーニングを活用することで、InstructSegは、さまざまな画像およびビデオセグメンテーションタスクに対して優れたパフォーマンスを示し、セグメンテーションスペシャリストとMLLMベースのメソッドを1つのモデルで上回る。 私たちのコードはhttps://github.com/congvvc/InstructSeg.comで利用可能です。

関連論文リスト

• CALICO: Part-Focused Semantic Co-Segmentation with Large Vision-Language Models [2.331828779757202]
  本稿では,画像間の共通部分と一意部分の識別と分割を目的とした,部分中心のセマンティック・セマンティック・セマンティック・セグメンテーションの新たな課題を紹介する。 画像間で複数のマスクを分割・推論できる最初のLVLMであるCALICOについて述べる。
  論文  参考訳（メタデータ） (2024-12-26T18:59:37Z)
• One Token to Seg Them All: Language Instructed Reasoning Segmentation in Videos [41.34787907803329]
  VideoLISAは、ビデオ内の言語命令による推論セグメンテーションの問題に対処するために設計された、ビデオベースのマルチモーダルな大規模言語モデルである。 VideoLISAは、言語命令に基づいてビデオ内に時間的に一貫したセグメンテーションマスクを生成する。
  論文  参考訳（メタデータ） (2024-09-29T07:47:15Z)
• VISA: Reasoning Video Object Segmentation via Large Language Models [64.33167989521357]
  我々は新しいタスク、Reasoning Video Object(ReasonVOS)を導入する。 このタスクは、複雑な推論能力を必要とする暗黙のテキストクエリに応答して、セグメンテーションマスクのシーケンスを生成することを目的としている。 本稿では、ReasonVOSに取り組むためにVISA(ビデオベース大規模言語命令付きアシスタント)を導入する。
  論文  参考訳（メタデータ） (2024-07-16T02:29:29Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• RISAM: Referring Image Segmentation via Mutual-Aware Attention Features [13.64992652002458]
  イメージセグメンテーション(RIS)は、言語表現プロンプトに基づいて特定の領域をセグメンテーションすることを目的としている。 既存の手法では、言語的特徴を視覚的特徴に取り入れ、マスク復号のためのマルチモーダル特徴を得る。 本稿では,SAM(Seegment Anything Model)を利用した参照画像分割手法MARISを提案する。
  論文  参考訳（メタデータ） (2023-11-27T11:24:25Z)
• Tracking Anything with Decoupled Video Segmentation [87.07258378407289]
  我々はデカップリングビデオセグメンテーションアプローチ(DEVA)を開発した。 タスク固有のイメージレベルセグメンテーションと、クラス/タスク非依存の双方向の時間的伝搬で構成されている。 この分離された定式化は、複数のデータスカースタスクにおけるエンドツーエンドのアプローチと良好に比較できることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:59:41Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Segment Everything Everywhere All at Once [124.90835636901096]
  画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。 そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。 多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2023-04-13T17:59:40Z)
• Modeling Motion with Multi-Modal Features for Text-Based Video Segmentation [56.41614987789537]
  テキストベースのビデオセグメンテーションは、対象のオブジェクトを記述文に基づいてビデオに分割することを目的としている。 本研究では, 正確なセグメンテーションを実現するために, 外観, 動き, 言語的特徴を融合, 整合させる手法を提案する。
  論文  参考訳（メタデータ） (2022-04-06T02:42:33Z)
• Referring Segmentation in Images and Videos with Cross-Modal Self-Attention Network [27.792054915363106]
  クロスモーダル・セルフアテンション(CMSA)モジュールは個々の単語や入力画像やビデオの詳細な情報を利用する。 ゲート型多層核融合(GMLF)モジュールは、自己注意型クロスモーダル機能を選択的に統合する。 クロスフレーム自己アテンション(CFSA)モジュールは、連続フレーム内の時間情報を効果的に統合する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。