論文の概要: CALICO: Part-Focused Semantic Co-Segmentation with Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2412.19331v1
• Date: Thu, 26 Dec 2024 18:59:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:29:17.554893
• Title: CALICO: Part-Focused Semantic Co-Segmentation with Large Vision-Language Models
• Title（参考訳）: CALICO:大規模視覚言語モデルを用いた部分焦点セマンティック・コセグメンテーション
• Authors: Kiet A. Nguyen, Adheesh Juvekar, Tianjiao Yu, Muntasir Wahed, Ismini Lourentzou,
• Abstract要約: 本稿では,画像間の共通部分と一意部分の識別と分割を目的とした,部分中心のセマンティック・セマンティック・セマンティック・セグメンテーションの新たな課題を紹介する。 画像間で複数のマスクを分割・推論できる最初のLVLMであるCALICOについて述べる。
• 参考スコア（独自算出の注目度）: 2.331828779757202
• License:
• Abstract: Recent advances in Large Vision-Language Models (LVLMs) have sparked significant progress in general-purpose vision tasks through visual instruction tuning. While some works have demonstrated the capability of LVLMs to generate segmentation masks that align phrases with natural language descriptions in a single image, they struggle with segmentation-grounded comparisons across multiple images, particularly at finer granularities such as object parts. In this paper, we introduce the new task of part-focused semantic co-segmentation, which seeks to identify and segment common and unique objects and parts across images. To address this task, we present CALICO, the first LVLM that can segment and reason over multiple masks across images, enabling object comparison based on their constituent parts. CALICO features two proposed components, a novel Correspondence Extraction Module, which captures semantic-rich information to identify part-level correspondences between objects, and a Correspondence Adaptation Module, which embeds this information into the LVLM to facilitate multi-image understanding in a parameter-efficient manner. To support training and evaluation, we curate MixedParts, a comprehensive multi-image segmentation dataset containing $\sim$2.4M samples across $\sim$44K images with diverse object and part categories. Experimental results show CALICO, finetuned on only 0.3% of its architecture, achieves robust performance in part-focused semantic co-segmentation.
• Abstract（参考訳）: 近年のLVLM(Large Vision-Language Models)の進歩は、視覚的インストラクションチューニングによる汎用視覚タスクの大幅な進歩を引き起こしている。 LVLMが1つの画像でフレーズと自然言語の記述を整列するセグメンテーションマスクを生成する能力を示した研究もあるが、複数の画像、特にオブジェクト部分のような細かな粒度において、セグメンテーションとグラウンドの比較に苦慮している。 本稿では,画像の共通部分や一意部分の識別と分割を目的とした,部分中心のセマンティック・セマンティック・セグメンテーションの新たな課題を紹介する。 この課題に対処するため,最初のLVLMであるCALICOを提案する。 CALICOは、オブジェクト間の部分レベルの対応を識別するために意味に富んだ情報をキャプチャする新しい対応抽出モジュールと、この情報をLVLMに埋め込んでパラメータ効率のよいマルチイメージ理解を容易にする対応適応モジュールの2つのコンポーネントを特徴としている。 トレーニングと評価を支援するために、MixedPartsという、さまざまなオブジェクトと部分カテゴリを持つ$\sim$2.4Mのサンプルを含む総合的なマルチイメージセグメンテーションデータセットをキュレートする。 実験結果によると、CALICOはアーキテクチャのわずか0.3%に微調整されており、部分中心のセマンティック・セグメンテーションにおいて堅牢な性能を実現している。

関連論文リスト

• Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
  本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。 複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。 マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
  論文  参考訳（メタデータ） (2023-07-10T17:59:40Z)
• AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
  視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。 また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-28T16:28:49Z)
• Segment Everything Everywhere All at Once [124.90835636901096]
  画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。 そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。 多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2023-04-13T17:59:40Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
  参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。 従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。 これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。 私たちのフレームワークはシンプルですが驚くほど効果的です。
  論文  参考訳（メタデータ） (2021-03-30T12:25:27Z)
• Dense Relational Image Captioning via Multi-task Triple-Stream Networks [95.0476489266988]
  視覚的な場面におけるオブジェクト間の情報に関して,キャプションを生成することを目的とした新しいタスクである。 このフレームワークは、多様性と情報の量の両方において有利であり、包括的なイメージ理解につながる。
  論文  参考訳（メタデータ） (2020-10-08T09:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。