論文の概要: Revisiting Click-based Interactive Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2203.01784v1
- Date: Thu, 3 Mar 2022 15:55:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-04 16:08:55.557924
- Title: Revisiting Click-based Interactive Video Object Segmentation
- Title(参考訳): クリック型インタラクティブビデオオブジェクトセグメンテーションの再検討
- Authors: Stephane Vujasinovic, Sebastian Bullinger, Stefan Becker, Norbert
Scherer-Negenborn, Michael Arens and Rainer Stiefelhagen
- Abstract要約: CiVOSは、ユーザインタラクションとマスク伝搬を反映したデカップリングモジュール上に構築されている。
このアプローチは、人気のある対話型DAVISデータセットで広く評価されている。
提示されたCivVOSパイプラインは、低いユーザワークロードを必要とするが、競合的な結果を達成する。
- 参考スコア(独自算出の注目度): 24.114405100879278
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While current methods for interactive Video Object Segmentation (iVOS) rely
on scribble-based interactions to generate precise object masks, we propose a
Click-based interactive Video Object Segmentation (CiVOS) framework to simplify
the required user workload as much as possible. CiVOS builds on de-coupled
modules reflecting user interaction and mask propagation. The interaction
module converts click-based interactions into an object mask, which is then
inferred to the remaining frames by the propagation module. Additional user
interactions allow for a refinement of the object mask. The approach is
extensively evaluated on the popular interactive~DAVIS dataset, but with an
inevitable adaptation of scribble-based interactions with click-based
counterparts. We consider several strategies for generating clicks during our
evaluation to reflect various user inputs and adjust the DAVIS performance
metric to perform a hardware-independent comparison. The presented CiVOS
pipeline achieves competitive results, although requiring a lower user
workload.
- Abstract(参考訳): 現在の対話型ビデオオブジェクトセグメンテーション(iVOS)は、正確なオブジェクトマスクを生成するために、スクリブルベースのインタラクションに依存しているが、Clickベースのインタラクティブなビデオオブジェクトセグメンテーション(CiVOS)フレームワークは、必要なユーザのワークロードを可能な限り単純化する。
CiVOSはユーザインタラクションとマスク伝搬を反映したデカップリングモジュール上に構築されている。
インタラクションモジュールはクリックベースのインタラクションをオブジェクトマスクに変換し、伝播モジュールによって残りのフレームに推論される。
追加のユーザインタラクションにより、オブジェクトマスクの洗練が可能になる。
このアプローチは、一般的な対話型~DAVISデータセットで広く評価されているが、クリックベースのインタラクションとスクリブルベースのインタラクションに必然的に適応している。
様々なユーザ入力を反映し、davisパフォーマンスメトリックを調整してハードウェアに依存しない比較を行うために、評価中にクリックを生成するいくつかの戦略を検討する。
提示されたCivVOSパイプラインは、低いユーザワークロードを必要とするが、競争結果を達成する。
関連論文リスト
- Learning from Exemplars for Interactive Image Segmentation [15.37506525730218]
同一カテゴリにおける1つのオブジェクトと複数のオブジェクトの両方に対して、新しい対話的セグメンテーションフレームワークを導入する。
当社のモデルでは,ターゲットIoUの85%と90%を達成するために,クリック数が2回削減されるため,ユーザの労力を約15%削減する。
論文 参考訳(メタデータ) (2024-06-17T12:38:01Z) - Training-Free Robust Interactive Video Object Segmentation [82.05906654403684]
対話型ビデオオブジェクトセグメンテーション(I-PT)のためのトレーニングフリープロンプトトラッキングフレームワークを提案する。
スパースポイントとボックストラッキングを共同で採用し、不安定なポイントをフィルタリングし、オブジェクトワイズ情報をキャプチャします。
我々のフレームワークは、人気のあるVOSデータセット上で、ゼロショットビデオセグメンテーションの堅牢な結果を示してきた。
論文 参考訳(メタデータ) (2024-06-08T14:25:57Z) - FocSAM: Delving Deeply into Focused Objects in Segmenting Anything [58.042354516491024]
Segment Anything Model (SAM)はセグメンテーションモデルにおいて注目すべきマイルストーンである。
2つの重要な側面に基づいてパイプラインを再設計したFocSAMを提案する。
まず,Dwin-MSA(Dynamic Window Multi-head Self-Attention)を提案する。
次に,Pixel-wise Dynamic ReLU (P-DyReLU)を提案する。
論文 参考訳(メタデータ) (2024-05-29T02:34:13Z) - Explore Synergistic Interaction Across Frames for Interactive Video
Object Segmentation [70.93295323156876]
複数のフレームを同時に受け入れることのできるフレームワークを提案し、フレーム間の相乗的相互作用(SIAF)を探索する。
我々のSwinB-SIAFはDAVIS 2017(89.6%、J&F@60)で最先端のパフォーマンスを達成した
我々のR50-SIAFは、挑戦的なマルチオブジェクトシナリオの下で、最先端の競合製品よりも3倍高速です。
論文 参考訳(メタデータ) (2024-01-23T04:19:15Z) - DynaMITe: Dynamic Query Bootstrapping for Multi-object Interactive
Segmentation Transformer [58.95404214273222]
最先端のインスタンスセグメンテーション手法の多くは、訓練のために大量のピクセル精度のグランドトルースに依存している。
ユーザインタラクションを時間的クエリとして表現するDynaMITeという,より効率的なアプローチを導入する。
我々のアーキテクチャはまた、改善中にイメージ機能を再計算する必要をなくし、単一のイメージに複数のインスタンスをセグメント化するためのインタラクションを少なくする。
論文 参考訳(メタデータ) (2023-04-13T16:57:02Z) - InterFormer: Real-time Interactive Image Segmentation [80.45763765116175]
インタラクティブなイメージセグメンテーションにより、アノテータはセグメンテーションタスクのためのピクセルレベルのアノテーションを効率的に実行することができる。
既存のインタラクティブセグメンテーションパイプラインは、インタラクティブモデルの非効率な計算に悩まされている。
これらの問題に対処するための新しいパイプラインに従うInterFormerという手法を提案する。
論文 参考訳(メタデータ) (2023-04-06T08:57:00Z) - Contour-based Interactive Segmentation [4.164728134421114]
ユーザインタラクションの自然な形態をゆるい輪郭とみなし、輪郭に基づく対話的セグメンテーション手法を導入する。
一つの輪郭が複数のクリックと同じ精度で、ユーザインタラクションの必要量を減らすことを実証する。
論文 参考訳(メタデータ) (2023-02-13T13:35:26Z) - Modular Interactive Video Object Segmentation: Interaction-to-Mask,
Propagation and Difference-Aware Fusion [68.45737688496654]
本稿では,マスク間相互作用とマスク伝搬を分離するモジュール型対話型VOSフレームワークを提案する。
提案手法は,フレーム間インタラクションを少なくしつつ,現在の最先端アルゴリズムよりも優れることを示す。
論文 参考訳(メタデータ) (2021-03-14T14:39:08Z) - Localized Interactive Instance Segmentation [24.55415554455844]
本稿では,ユーザインタラクションがオブジェクトの近接に制限されるクリック方式を提案する。
提案手法の有効性を,詳細な実験により示す。
論文 参考訳(メタデータ) (2020-10-18T23:24:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。