論文の概要: RClicks: Realistic Click Simulation for Benchmarking Interactive Segmentation

• arxiv url: http://arxiv.org/abs/2410.11722v1
• Date: Tue, 15 Oct 2024 15:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:13.095422
• Title: RClicks: Realistic Click Simulation for Benchmarking Interactive Segmentation
• Title（参考訳）: RClicks: インタラクティブセグメンテーションのベンチマークのためのリアルなクリックシミュレーション
• Authors: Anton Antonov, Andrey Moskalenko, Denis Shepelev, Alexander Krapukhin, Konstantin Soshin, Anton Konushin, Vlad Shakhuro,
• Abstract要約: 対話型セグメンテーションシナリオにおけるクリックパターンの大規模クラウドソーシング調査を行い,475万のリアルタイムクリックを収集する。 本モデルとデータセットを用いて,現実的なクリックにおける既存の対話的セグメンテーション手法の包括的比較のためのRClicksベンチマークを提案する。 我々のベンチマークによると、実世界の対話型セグメンテーションモデルでは、ベースラインベンチマークで報告されたよりもパフォーマンスが悪く、ほとんどの手法は堅牢ではない。
• 参考スコア（独自算出の注目度）: 37.44155289954746
• License:
• Abstract: The emergence of Segment Anything (SAM) sparked research interest in the field of interactive segmentation, especially in the context of image editing tasks and speeding up data annotation. Unlike common semantic segmentation, interactive segmentation methods allow users to directly influence their output through prompts (e.g. clicks). However, click patterns in real-world interactive segmentation scenarios remain largely unexplored. Most methods rely on the assumption that users would click in the center of the largest erroneous area. Nevertheless, recent studies show that this is not always the case. Thus, methods may have poor performance in real-world deployment despite high metrics in a baseline benchmark. To accurately simulate real-user clicks, we conducted a large crowdsourcing study of click patterns in an interactive segmentation scenario and collected 475K real-user clicks. Drawing on ideas from saliency tasks, we develop a clickability model that enables sampling clicks, which closely resemble actual user inputs. Using our model and dataset, we propose RClicks benchmark for a comprehensive comparison of existing interactive segmentation methods on realistic clicks. Specifically, we evaluate not only the average quality of methods, but also the robustness w.r.t. click patterns. According to our benchmark, in real-world usage interactive segmentation models may perform worse than it has been reported in the baseline benchmark, and most of the methods are not robust. We believe that RClicks is a significant step towards creating interactive segmentation methods that provide the best user experience in real-world cases.
• Abstract（参考訳）: Segment Anything(SAM)の出現は、インタラクティブなセグメンテーションの分野、特に画像編集タスクやデータアノテーションの高速化に研究の関心を喚起した。 一般的なセマンティックセグメンテーションとは異なり、インタラクティブセグメンテーション方式では、ユーザーはプロンプト(例えばクリック)を通じて直接アウトプットに影響を与えることができる。 しかし、実世界の対話的セグメンテーションシナリオにおけるクリックパターンはほとんど解明されていない。 ほとんどの手法は、ユーザーが最大の誤ったエリアの中央をクリックするという仮定に依存している。 しかし、最近の研究では必ずしもそうではないことが示されている。 したがって、ベースラインベンチマークのメトリクスが高いにも関わらず、実際のデプロイメントではメソッドのパフォーマンスが低下する可能性がある。 実ユーザクリックを正確にシミュレートするために,対話型セグメンテーションシナリオにおけるクリックパターンの大規模クラウドソーシング調査を行い,実ユーザクリックを475万件収集した。 そこで我々は,サリエンシタスクからアイデアを抽出し,実際のユーザ入力とよく似たクリックをサンプリングできるクリック可能性モデルを開発した。 本モデルとデータセットを用いて,現実的なクリックにおける既存の対話的セグメンテーション手法の包括的比較のためのRClicksベンチマークを提案する。 具体的には,メソッドの平均品質だけでなく,クリックパターンの堅牢性も評価する。 我々のベンチマークによると、実世界の対話型セグメンテーションモデルでは、ベースラインベンチマークで報告されたよりもパフォーマンスが悪く、ほとんどの手法は堅牢ではない。 RClicksは、現実世界のケースで最高のユーザエクスペリエンスを提供するインタラクティブなセグメンテーションメソッドを作成するための重要なステップであると考えています。

関連論文リスト

• Scale Disparity of Instances in Interactive Point Cloud Segmentation [15.865365305312174]
  我々はClickFormerを提案する。ClickFormerは革新的なインタラクティブなポイントクラウドセグメンテーションモデルで、物と物の両方のインスタンスを正確にセグメンテーションする。 我々は、偽陽性の発生リスクを軽減するために、クエリ・ボクセル変換器にグローバルな注意を払っている。 ClickFormerは、屋内と屋外の両方のデータセットで、既存のインタラクティブなポイントクラウドセグメンテーションメソッドよりも優れています。
  論文  参考訳（メタデータ） (2024-07-19T03:45:48Z)
• TETRIS: Towards Exploring the Robustness of Interactive Segmentation [39.1981941213761]
  対話型セグメンテーションモデルに対するホワイトボックス逆攻撃において, 直接最適化により極端なユーザ入力を見つける手法を提案する。 本報告では,多数のモデルについて広範囲な評価を行った結果について報告する。
  論文  参考訳（メタデータ） (2024-02-09T01:36:21Z)
• Interactive segmentation in aerial images: a new benchmark and an open access web-based tool [2.729446374377189]
  近年,コンピュータビジョンにおける対話型セマンティックセマンティックセマンティクスは,人間とコンピュータの相互作用セマンティクスの理想的な状態を実現している。 本研究の目的は,対話型セグメンテーションモデルのベンチマークにより,対話型セグメンテーションとリモートセンシング分析のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-08-25T04:49:49Z)
• Segment Anything Meets Point Tracking [116.44931239508578]
  本稿では,SAMと長期点追跡を併用した,ポイント中心の対話型ビデオセグメンテーションの新たな手法を提案する。 ゼロショットオープンワールドUnidentified Video Objects(UVO)ベンチマークで直接評価することで,ポイントベーストラッキングのメリットを強調した。 DAVIS, YouTube-VOS, BDD100Kなどの人気ビデオオブジェクトのセグメンテーションと多目的セグメンテーションのベンチマーク実験により, ポイントベースセグメンテーショントラッカーがより優れたゼロショット性能と効率的なインタラクションをもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-03T17:58:01Z)
• DynaMITe: Dynamic Query Bootstrapping for Multi-object Interactive Segmentation Transformer [58.95404214273222]
  最先端のインスタンスセグメンテーション手法の多くは、訓練のために大量のピクセル精度のグランドトルースに依存している。 ユーザインタラクションを時間的クエリとして表現するDynaMITeという,より効率的なアプローチを導入する。 我々のアーキテクチャはまた、改善中にイメージ機能を再計算する必要をなくし、単一のイメージに複数のインスタンスをセグメント化するためのインタラクションを少なくする。
  論文  参考訳（メタデータ） (2023-04-13T16:57:02Z)
• Contour-based Interactive Segmentation [4.164728134421114]
  ユーザインタラクションの自然な形態をゆるい輪郭とみなし、輪郭に基づく対話的セグメンテーション手法を導入する。 一つの輪郭が複数のクリックと同じ精度で、ユーザインタラクションの必要量を減らすことを実証する。
  論文  参考訳（メタデータ） (2023-02-13T13:35:26Z)
• Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
  本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。 周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。 本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2022-01-25T12:44:23Z)
• WeClick: Weakly-Supervised Video Semantic Segmentation with Click Annotations [64.52412111417019]
  WeClick と呼ばれるクリックアノテーション付きビデオセマンティックセマンティックセマンティックパイプラインを提案する。 詳細なセマンティック情報はクリックによってキャプチャされないため、クリックラベルによる直接トレーニングはセグメンテーションの予測が不十分になる。 WeClickは最先端の手法より優れ、ベースラインよりも10.24%のmIoUで性能を向上し、リアルタイム実行を実現している。
  論文  参考訳（メタデータ） (2021-07-07T09:12:46Z)
• Localized Interactive Instance Segmentation [24.55415554455844]
  本稿では,ユーザインタラクションがオブジェクトの近接に制限されるクリック方式を提案する。 提案手法の有効性を,詳細な実験により示す。
  論文  参考訳（メタデータ） (2020-10-18T23:24:09Z)
• FAIRS -- Soft Focus Generator and Attention for Robust Object Segmentation from Extreme Points [70.65563691392987]
  本稿では,ユーザ入力からオブジェクトのセグメンテーションを極端点と補正クリックの形で生成する手法を提案する。 提案手法は,エクストリームポイント,クリック誘導,修正クリックを原則として組み込んだ,高品質なトレーニングデータを生成する能力とスケーラビリティを実証する。
  論文  参考訳（メタデータ） (2020-04-04T22:25:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。