論文の概要: On the Robustness of Segment Anything

• arxiv url: http://arxiv.org/abs/2305.16220v1
• Date: Thu, 25 May 2023 16:28:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 13:50:50.647189
• Title: On the Robustness of Segment Anything
• Title（参考訳）: セグメントのロバスト性について
• Authors: Yihao Huang, Yue Cao, Tianlin Li, Felix Juefei-Xu, Di Lin, Ivor W.Tsang, Yang Liu, Qing Guo
• Abstract要約: 我々は, SAMの試験時間ロバスト性について, 敵のシナリオと共通の腐敗下で検討することを目的としている。 SAMは、ぼやけた汚職を除いて、様々な汚職に対して顕著な堅牢性を示す。
• 参考スコア（独自算出の注目度）: 46.669794757467166
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Segment anything model (SAM) has presented impressive objectness identification capability with the idea of prompt learning and a new collected large-scale dataset. Given a prompt (e.g., points, bounding boxes, or masks) and an input image, SAM is able to generate valid segment masks for all objects indicated by the prompts, presenting high generalization across diverse scenarios and being a general method for zero-shot transfer to downstream vision tasks. Nevertheless, it remains unclear whether SAM may introduce errors in certain threatening scenarios. Clarifying this is of significant importance for applications that require robustness, such as autonomous vehicles. In this paper, we aim to study the testing-time robustness of SAM under adversarial scenarios and common corruptions. To this end, we first build a testing-time robustness evaluation benchmark for SAM by integrating existing public datasets. Second, we extend representative adversarial attacks against SAM and study the influence of different prompts on robustness. Third, we study the robustness of SAM under diverse corruption types by evaluating SAM on corrupted datasets with different prompts. With experiments conducted on SA-1B and KITTI datasets, we find that SAM exhibits remarkable robustness against various corruptions, except for blur-related corruption. Furthermore, SAM remains susceptible to adversarial attacks, particularly when subjected to PGD and BIM attacks. We think such a comprehensive study could highlight the importance of the robustness issues of SAM and trigger a series of new tasks for SAM as well as downstream vision tasks.
• Abstract（参考訳）: Segment Any Model (SAM)は、迅速な学習と新しい収集された大規模データセットによって、印象的なオブジェクト性識別能力を示した。 プロンプト(ポイント、バウンディングボックス、マスクなど)と入力イメージが与えられると、samはプロンプトで示されるすべてのオブジェクトに対して有効なセグメントマスクを生成することができ、さまざまなシナリオで高い一般化を示し、ダウンストリームビジョンタスクへのゼロショット転送の一般的な方法である。 それでも、SAMが特定の脅威シナリオにエラーをもたらすかどうかは不明だ。 これを明確にすることは、自動運転車のような堅牢性を必要とするアプリケーションにとって非常に重要である。 本稿では, SAMの試験時間ロバスト性について, 敵対的シナリオと共通の腐敗下での考察を行う。 この目的のために、私たちはまず、既存の公開データセットを統合することでSAMのテスト時間堅牢性評価ベンチマークを構築しました。 第2に、SAMに対する代表的敵対攻撃を拡張し、異なるプロンプトが堅牢性に与える影響について検討する。 第三に、異なるプロンプトを持つ破損したデータセット上でSAMを評価することにより、多様な腐敗型下でのSAMの堅牢性について検討する。 SA-1B と KITTI のデータセットを用いて実験したところ,SAM はぼやけた汚損以外の様々な汚損に対して顕著な堅牢性を示すことがわかった。 さらにSAMは、特にPGDやBIMの攻撃を受けた場合、敵の攻撃を受けやすいままである。 このような総合的な研究はSAMの堅牢性の重要性を強調し、SAMの一連の新しいタスクと下流の視覚タスクをトリガーするかもしれない。

関連論文リスト

• Adapting Segment Anything Model for Unseen Object Instance Segmentation [70.60171342436092]
  Unseen Object Instance(UOIS)は、非構造環境で動作する自律ロボットにとって不可欠である。 UOISタスクのためのデータ効率のよいソリューションであるUOIS-SAMを提案する。 UOIS-SAMは、(i)HeatmapベースのPrompt Generator(HPG)と(ii)SAMのマスクデコーダに適応する階層識別ネットワーク(HDNet)の2つの重要なコンポーネントを統合する。
  論文  参考訳（メタデータ） (2024-09-23T19:05:50Z)
• Crowd-SAM: SAM as a Smart Annotator for Object Detection in Crowded Scenes [18.244508068200236]
  Crowd-SAMは、混み合ったシーンでSAMのパフォーマンスを高めるために設計されたフレームワークである。 混み合ったシーンにおけるマスク選択と精度を高めるために,効率的なプロンプトサンプリング (EPS) とPWD-Net (Part-whole discrimination network) を導入する。 Crowd-SAMは、CrowdHumanやCityPersonsなどいくつかのベンチマークにおいて、最先端のSOTA(State-of-the-art)と競合する。
  論文  参考訳（メタデータ） (2024-07-16T08:00:01Z)
• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• On the Duality Between Sharpness-Aware Minimization and Adversarial Training [14.863336218063646]
  対戦訓練(AT)は、敵の攻撃に対する最も効果的な防御の1つだが、必然的にクリーンな精度が低下している。 サンプルを摂動させる代わりに、SAM(Sharpness-Aware Minimization)はトレーニング中にモデルの重量を摂動させ、より平坦なロスランドスケープを見つける。 SAMのみを用いることで、敵の堅牢性を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-23T07:22:55Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)
• SAM Meets Robotic Surgery: An Empirical Study on Generalization, Robustness and Adaptation [15.995869434429274]
  Segment Anything Model (SAM) はセグメンテーションの基本モデルとして機能する。 ロボット外科領域におけるSAMの頑健性とゼロショットの一般化性について検討した。
  論文  参考訳（メタデータ） (2023-08-14T14:09:41Z)
• Robustness of SAM: Segment Anything Under Corruptions and Beyond [49.33798965689299]
  Segment Any Model (SAM) は任意のオブジェクトを切断できると主張している。 さまざまな汚職シナリオにおけるSAMの堅牢性を理解することは、現実世界のデプロイメントに不可欠である。
  論文  参考訳（メタデータ） (2023-06-13T12:00:49Z)
• Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples [68.5719552703438]
  Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。 深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。 この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
  論文  参考訳（メタデータ） (2023-05-01T15:08:17Z)
• SAM Meets Robotic Surgery: An Empirical Study in Robustness Perspective [21.2080716792596]
  Segment Anything Model (SAM) は意味的セグメンテーションの基礎モデルである。 ロボット手術領域におけるSAMのロバスト性とゼロショット一般化性について検討した。
  論文  参考訳（メタデータ） (2023-04-28T08:06:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。