論文の概要: Learning from Exemplars for Interactive Image Segmentation

• arxiv url: http://arxiv.org/abs/2406.11472v1
• Date: Mon, 17 Jun 2024 12:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 14:51:50.309483
• Title: Learning from Exemplars for Interactive Image Segmentation
• Title（参考訳）: 対話型イメージセグメンテーションのための経験者からの学習
• Authors: Kun Li, Hao Cheng, George Vosselman, Michael Ying Yang,
• Abstract要約: 同一カテゴリにおける1つのオブジェクトと複数のオブジェクトの両方に対して、新しい対話的セグメンテーションフレームワークを導入する。 当社のモデルでは,ターゲットIoUの85%と90%を達成するために,クリック数が2回削減されるため,ユーザの労力を約15%削減する。
• 参考スコア（独自算出の注目度）: 15.37506525730218
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive image segmentation enables users to interact minimally with a machine, facilitating the gradual refinement of the segmentation mask for a target of interest. Previous studies have demonstrated impressive performance in extracting a single target mask through interactive segmentation. However, the information cues of previously interacted objects have been overlooked in the existing methods, which can be further explored to speed up interactive segmentation for multiple targets in the same category. To this end, we introduce novel interactive segmentation frameworks for both a single object and multiple objects in the same category. Specifically, our model leverages transformer backbones to extract interaction-focused visual features from the image and the interactions to obtain a satisfactory mask of a target as an exemplar. For multiple objects, we propose an exemplar-informed module to enhance the learning of similarities among the objects of the target category. To combine attended features from different modules, we incorporate cross-attention blocks followed by a feature fusion module. Experiments conducted on mainstream benchmarks demonstrate that our models achieve superior performance compared to previous methods. Particularly, our model reduces users' labor by around 15\%, requiring two fewer clicks to achieve target IoUs 85\% and 90\%. The results highlight our models' potential as a flexible and practical annotation tool. The source code will be released after publication.
• Abstract（参考訳）: インタラクティブなイメージセグメンテーションにより、ユーザはマシンと最小限のインタラクションが可能となり、関心の対象となるセグメンテーションマスクの段階的な改善が容易になる。 従来の研究は、対話的なセグメンテーションによって単一のターゲットマスクを抽出する際、顕著な性能を示した。 しかし, 従来の手法では, 複数の対象に対する対話的セグメンテーションの高速化が図られている。 この目的のために,同じカテゴリの1つのオブジェクトと複数のオブジェクトの両方に対して,インタラクティブなセグメンテーションフレームワークを導入する。 具体的には、トランスフォーマーのバックボーンを利用して、画像とインタラクションからインタラクションに焦点を絞った視覚的特徴を抽出し、ターゲットの満足なマスクを模範として取得する。 複数のオブジェクトに対して,対象カテゴリのオブジェクト間の類似性の学習を促進するために,例えインフォームドモジュールを提案する。 異なるモジュールから付属する機能を組み合わせるために、クロスアテンションブロックを組み込んだ後、機能融合モジュールを組み込んだ。 主要なベンチマークで行った実験は、我々のモデルが従来の方法よりも優れた性能を発揮することを示した。 特に,対象のIoUs 85\% と 90\% を達成するためには,クリック数が2回削減されるため,ユーザの労力を約15\%削減できる。 結果は、フレキシブルで実用的なアノテーションツールとしてのモデルの可能性を強調します。 ソースコードは公開後に公開される。

関連論文リスト

• IFSENet : Harnessing Sparse Iterations for Interactive Few-shot Segmentation Excellence [2.822194296769473]
  新しいクラスのセグメンテーションを学ぶために必要な画像の数を減らします。 インタラクティブなセグメンテーション技術は、一度に1つのオブジェクトのセグメンテーションを漸進的に改善することのみに焦点を当てます。 2つの概念を組み合わせることで、新しいクラスのセグメンテーションモデルをトレーニングするのに要する労力を大幅に削減する。
  論文  参考訳（メタデータ） (2024-03-22T10:15:53Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
  本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。 複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。 マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
  論文  参考訳（メタデータ） (2023-07-10T17:59:40Z)
• DynaMITe: Dynamic Query Bootstrapping for Multi-object Interactive Segmentation Transformer [58.95404214273222]
  最先端のインスタンスセグメンテーション手法の多くは、訓練のために大量のピクセル精度のグランドトルースに依存している。 ユーザインタラクションを時間的クエリとして表現するDynaMITeという,より効率的なアプローチを導入する。 我々のアーキテクチャはまた、改善中にイメージ機能を再計算する必要をなくし、単一のイメージに複数のインスタンスをセグメント化するためのインタラクションを少なくする。
  論文  参考訳（メタデータ） (2023-04-13T16:57:02Z)
• InterFormer: Real-time Interactive Image Segmentation [80.45763765116175]
  インタラクティブなイメージセグメンテーションにより、アノテータはセグメンテーションタスクのためのピクセルレベルのアノテーションを効率的に実行することができる。 既存のインタラクティブセグメンテーションパイプラインは、インタラクティブモデルの非効率な計算に悩まされている。 これらの問題に対処するための新しいパイプラインに従うInterFormerという手法を提案する。
  論文  参考訳（メタデータ） (2023-04-06T08:57:00Z)
• Segmenting Moving Objects via an Object-Centric Layered Representation [100.26138772664811]
  深層表現を用いたオブジェクト中心セグメンテーションモデルを提案する。 複数のオブジェクトで合成トレーニングデータを生成するスケーラブルなパイプラインを導入する。 標準的なビデオセグメンテーションベンチマークでモデルを評価する。
  論文  参考訳（メタデータ） (2022-07-05T17:59:43Z)
• Reviving Iterative Training with Mask Guidance for Interactive Segmentation [8.271859911016719]
  クリックに基づくインタラクティブセグメンテーションに関する最近の研究は、様々な推論時間最適化スキームを用いて最先端の結果を示している。 従来のステップのセグメンテーションマスクを用いた,クリックベースのインタラクティブセグメンテーションのための簡単なフィードフォワードモデルを提案する。 COCOとLVISの組み合わせで訓練されたモデルと、多様で高品質のアノテーションは、既存のすべてのモデルよりも優れたパフォーマンスを示しています。
  論文  参考訳（メタデータ） (2021-02-12T15:44:31Z)
• Multi-Stage Fusion for One-Click Segmentation [20.00726292545008]
  対話型セグメンテーションのための多段階ガイダンスフレームワークを提案する。 提案フレームワークは,早期融合フレームワークと比較してパラメータ数の増加は無視できない。
  論文  参考訳（メタデータ） (2020-10-19T17:07:40Z)
• Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
  本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。 私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。 提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
  論文  参考訳（メタデータ） (2020-07-13T11:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。