論文の概要: TETRIS: Towards Exploring the Robustness of Interactive Segmentation
- arxiv url: http://arxiv.org/abs/2402.06132v1
- Date: Fri, 9 Feb 2024 01:36:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-12 18:18:51.124833
- Title: TETRIS: Towards Exploring the Robustness of Interactive Segmentation
- Title（参考訳）: TETRIS:インタラクティブセグメンテーションのロバスト性を探る
- Authors: Andrey Moskalenko, Vlad Shakhuro, Anna Vorontsova, Anton Konushin,
Anton Antonov, Alexander Krapukhin, Denis Shepelev, Konstantin Soshin
- Abstract要約: 対話型セグメンテーションモデルに対するホワイトボックス逆攻撃において, 直接最適化により極端なユーザ入力を見つける手法を提案する。
本報告では,多数のモデルについて広範囲な評価を行った結果について報告する。
- 参考スコア（独自算出の注目度）: 39.1981941213761
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Interactive segmentation methods rely on user inputs to iteratively update
the selection mask. A click specifying the object of interest is arguably the
most simple and intuitive interaction type, and thereby the most common choice
for interactive segmentation. However, user clicking patterns in the
interactive segmentation context remain unexplored. Accordingly, interactive
segmentation evaluation strategies rely more on intuition and common sense
rather than empirical studies (e.g., assuming that users tend to click in the
center of the area with the largest error). In this work, we conduct a real
user study to investigate real user clicking patterns. This study reveals that
the intuitive assumption made in the common evaluation strategy may not hold.
As a result, interactive segmentation models may show high scores in the
standard benchmarks, but it does not imply that they would perform well in a
real world scenario. To assess the applicability of interactive segmentation
methods, we propose a novel evaluation strategy providing a more comprehensive
analysis of a model's performance. To this end, we propose a methodology for
finding extreme user inputs by a direct optimization in a white-box adversarial
attack on the interactive segmentation model. Based on the performance with
such adversarial user inputs, we assess the robustness of interactive
segmentation models w.r.t click positions. Besides, we introduce a novel
benchmark for measuring the robustness of interactive segmentation, and report
the results of an extensive evaluation of dozens of models.
- Abstract（参考訳）: 対話型セグメンテーション手法は、選択マスクを反復的に更新するためにユーザ入力に依存する。
興味のあるオブジェクトを指定するクリックは、おそらく最も単純で直感的な対話タイプであり、対話的なセグメンテーションの最も一般的な選択である。
しかし、対話的なセグメンテーションコンテキストにおけるユーザークリックパターンは未検討のままである。
したがって、インタラクティブなセグメンテーション評価戦略は、経験的な研究よりも直感と常識に依拠している(例えば、ユーザーが最もエラーの多い領域の中央をクリックする傾向があると仮定する)。
本研究では,実際のユーザクリックパターンを調べるために,実際のユーザ調査を行う。
本研究は,共通評価戦略における直観的な仮定が成立しないことを示す。
結果として、インタラクティブなセグメンテーションモデルは標準ベンチマークで高いスコアを示すかもしれないが、現実のシナリオではうまく機能するわけではない。
対話型セグメンテーション手法の適用性を評価するため,モデルの性能をより包括的に分析する新しい評価手法を提案する。
そこで本研究では,対話型セグメンテーションモデルに対するホワイトボックス逆攻撃の直接最適化により,極端なユーザ入力を見つける手法を提案する。
このようなユーザ入力の性能に基づいて,対話型セグメンテーションモデルw.r.tクリック位置のロバスト性を評価する。
さらに,対話的セグメンテーションの堅牢性を評価するための新しいベンチマークを導入し,数十のモデルの広範囲な評価結果を報告する。
関連論文リスト
- RClicks: Realistic Click Simulation for Benchmarking Interactive Segmentation [37.44155289954746]
対話型セグメンテーションシナリオにおけるクリックパターンの大規模クラウドソーシング調査を行い,475万のリアルタイムクリックを収集する。
本モデルとデータセットを用いて,現実的なクリックにおける既存の対話的セグメンテーション手法の包括的比較のためのRClicksベンチマークを提案する。
我々のベンチマークによると、実世界の対話型セグメンテーションモデルでは、ベースラインベンチマークで報告されたよりもパフォーマンスが悪く、ほとんどの手法は堅牢ではない。
論文 参考訳（メタデータ） (2024-10-15T15:55:00Z) - Scale Disparity of Instances in Interactive Point Cloud Segmentation [15.865365305312174]
我々はClickFormerを提案する。ClickFormerは革新的なインタラクティブなポイントクラウドセグメンテーションモデルで、物と物の両方のインスタンスを正確にセグメンテーションする。
我々は、偽陽性の発生リスクを軽減するために、クエリ・ボクセル変換器にグローバルな注意を払っている。
ClickFormerは、屋内と屋外の両方のデータセットで、既存のインタラクティブなポイントクラウドセグメンテーションメソッドよりも優れています。
論文 参考訳（メタデータ） (2024-07-19T03:45:48Z) - Refining Segmentation On-the-Fly: An Interactive Framework for Point
Cloud Semantic Segmentation [9.832150567595718]
ポイントクラウドセマンティックセマンティックセグメンテーションのための最初の対話型フレームワークであるInterPCSegを提示する。
本研究では,対話型ポイントクラウドセマンティックセマンティックセグメンテーションタスクに適したインタラクションシミュレーション手法を開発した。
市販セグメンテーションネットワークを用いたS3DISおよびScanNetデータセットのフレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-03-11T03:24:58Z) - Interactive segmentation in aerial images: a new benchmark and an open
access web-based tool [2.729446374377189]
近年,コンピュータビジョンにおける対話型セマンティックセマンティックセマンティクスは,人間とコンピュータの相互作用セマンティクスの理想的な状態を実現している。
本研究の目的は,対話型セグメンテーションモデルのベンチマークにより,対話型セグメンテーションとリモートセンシング分析のギャップを埋めることである。
論文 参考訳（メタデータ） (2023-08-25T04:49:49Z) - Contour-based Interactive Segmentation [4.164728134421114]
ユーザインタラクションの自然な形態をゆるい輪郭とみなし、輪郭に基づく対話的セグメンテーション手法を導入する。
一つの輪郭が複数のクリックと同じ精度で、ユーザインタラクションの必要量を減らすことを実証する。
論文 参考訳（メタデータ） (2023-02-13T13:35:26Z) - Interactiveness Field in Human-Object Interactions [89.13149887013905]
画像中の物体が人間とペアリングした後、生成されたペアは、主に非対話的か、主に対話的かのいずれかである。
本研究では,対話型対と非対話型対の基底となる「相互作用性場」の濃度と差に基づく新しいエネルギー制約を提案する。
提案手法により,より高精度なペア検出が可能となり,HOI検出性能が大幅に向上する。
論文 参考訳（メタデータ） (2022-04-16T05:09:25Z) - Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。
周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。
本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2022-01-25T12:44:23Z) - Target-Aware Object Discovery and Association for Unsupervised Video
Multi-Object Segmentation [79.6596425920849]
本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。
より正確で効率的な時間区分のための新しいアプローチを紹介します。
DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
論文 参考訳（メタデータ） (2021-04-10T14:39:44Z) - A Graph-based Interactive Reasoning for Human-Object Interaction
Detection [71.50535113279551]
本稿では,HOIを推論するインタラクティブグラフ(Interactive Graph, in-Graph)という,グラフに基づくインタラクティブ推論モデルを提案する。
In-GraphNet と呼ばれる HOI を検出するための新しいフレームワークを構築した。
私たちのフレームワークはエンドツーエンドのトレーニングが可能で、人間のポーズのような高価なアノテーションはありません。
論文 参考訳（メタデータ） (2020-07-14T09:29:03Z) - FAIRS -- Soft Focus Generator and Attention for Robust Object
Segmentation from Extreme Points [70.65563691392987]
本稿では,ユーザ入力からオブジェクトのセグメンテーションを極端点と補正クリックの形で生成する手法を提案する。
提案手法は,エクストリームポイント,クリック誘導,修正クリックを原則として組み込んだ,高品質なトレーニングデータを生成する能力とスケーラビリティを実証する。
論文 参考訳（メタデータ） (2020-04-04T22:25:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。