論文の概要: A Simple Image Segmentation Framework via In-Context Examples

• arxiv url: http://arxiv.org/abs/2410.04842v1
• Date: Tue, 8 Oct 2024 12:38:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:38:08.342725
• Title: A Simple Image Segmentation Framework via In-Context Examples
• Title（参考訳）: In-Context例による簡易画像分割フレームワーク
• Authors: Yang Liu, Chenchen Jing, Hengtao Li, Muzhi Zhu, Hao Chen, Xinlong Wang, Chunhua Shen,
• Abstract要約: 本稿では,テキスト内例を利用したシンプルな画像フレームワークであるSINEを提案する。 In-context Interactionモジュールを導入し、インコンテキスト情報を補完し、ターゲット画像とインコンテキストの例との相関関係を生成する。 様々なセグメンテーションタスクの実験により,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 59.319920526160466
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recently, there have been explorations of generalist segmentation models that can effectively tackle a variety of image segmentation tasks within a unified in-context learning framework. However, these methods still struggle with task ambiguity in in-context segmentation, as not all in-context examples can accurately convey the task information. In order to address this issue, we present SINE, a simple image Segmentation framework utilizing in-context examples. Our approach leverages a Transformer encoder-decoder structure, where the encoder provides high-quality image representations, and the decoder is designed to yield multiple task-specific output masks to effectively eliminate task ambiguity. Specifically, we introduce an In-context Interaction module to complement in-context information and produce correlations between the target image and the in-context example and a Matching Transformer that uses fixed matching and a Hungarian algorithm to eliminate differences between different tasks. In addition, we have further perfected the current evaluation system for in-context image segmentation, aiming to facilitate a holistic appraisal of these models. Experiments on various segmentation tasks show the effectiveness of the proposed method.
• Abstract（参考訳）: 近年,統合したインコンテキスト学習フレームワークにおいて,画像分割タスクを効果的に扱える汎用的なセグメンテーションモデルが検討されている。 しかし、これらの手法は、コンテキスト内のすべての例がタスク情報を正確に伝達できるわけではないため、コンテキスト内セグメンテーションにおけるタスクの曖昧さに苦慮している。 この問題に対処するため,テキスト内例を利用した単純な画像分割フレームワークであるSINEを提案する。 提案手法はトランスフォーマーエンコーダ・デコーダ構造を利用して,高品質な画像表現を提供し,デコーダは複数のタスク固有の出力マスクを出力し,タスクのあいまいさを効果的に除去するように設計されている。 具体的には、インコンテキスト情報を補完し、対象画像とインコンテキストの例との相関関係を生成するインコンテキストインタラクションモジュールと、固定マッチングとハンガリーのアルゴリズムを用いて異なるタスク間の差異を解消するマッチングトランスフォーマを導入する。 さらに,これらのモデルの全体的評価を容易にすることを目的として,インコンテキスト画像セグメント化の現在の評価システムをさらに完成させた。 様々なセグメンテーションタスクの実験により,提案手法の有効性が示された。

関連論文リスト

• Visual Prompt Selection for In-Context Learning Segmentation [77.15684360470152]
  本稿では,サンプル選択戦略の再考と改善に焦点をあてる。 まず、ICLに基づくセグメンテーションモデルが異なる文脈に敏感であることを示す。 さらに、経験的証拠は、文脈的プロンプトの多様性がセグメンテーションを導く上で重要な役割を担っていることを示している。
  論文  参考訳（メタデータ） (2024-07-14T15:02:54Z)
• SEGIC: Unleashing the Emergent Correspondence for In-Context Segmentation [87.18373801829314]
  In-context segmentationは、"in-context example"と呼ばれるいくつかのラベル付きサンプルイメージを使用して、新しいイメージをセグメント化することを目的としている。 単一ビジョン基盤モデル(VFM)に基づくエンドツーエンドのセグメンテーション・イン・コンテクストフレームワークSEGICを提案する。 SEGICは、ワンショットセグメンテーションベンチマークで最先端のパフォーマンスをもたらす、単純だが効果的なアプローチである。
  論文  参考訳（メタデータ） (2023-11-24T18:59:42Z)
• AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
  視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。 また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-28T16:28:49Z)
• CAT-Seg: Cost Aggregation for Open-Vocabulary Semantic Segmentation [56.58365347854647]
  私たちは、視覚言語基盤モデル、特にCLIPを適応するためのコストベースの新しいアプローチを導入します。 エンコーダの微調整により,CLIPをセグメント化,未確認のクラスに適応させる手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T12:28:21Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。