論文の概要: Red-Teaming Segment Anything Model

• arxiv url: http://arxiv.org/abs/2404.02067v1
• Date: Tue, 2 Apr 2024 16:07:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 15:39:47.795799
• Title: Red-Teaming Segment Anything Model
• Title（参考訳）: Red-Teaming Segment Anything Model
• Authors: Krzysztof Jankowski, Bartlomiej Sobieski, Mateusz Kwiatkowski, Jakub Szulc, Michal Janik, Hubert Baniecki, Przemyslaw Biecek,
• Abstract要約: Segment Anything Modelは、コンピュータビジョンのセグメンテーションタスクのための、最もよく知られた基礎モデルの一つである。 この研究は、Segment Anything Modelを困難なタスクに対してテストする、多面的な赤チーム分析を提示します。
• 参考スコア（独自算出の注目度）: 6.66538432730354
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models have emerged as pivotal tools, tackling many complex tasks through pre-training on vast datasets and subsequent fine-tuning for specific applications. The Segment Anything Model is one of the first and most well-known foundation models for computer vision segmentation tasks. This work presents a multi-faceted red-teaming analysis that tests the Segment Anything Model against challenging tasks: (1) We analyze the impact of style transfer on segmentation masks, demonstrating that applying adverse weather conditions and raindrops to dashboard images of city roads significantly distorts generated masks. (2) We focus on assessing whether the model can be used for attacks on privacy, such as recognizing celebrities' faces, and show that the model possesses some undesired knowledge in this task. (3) Finally, we check how robust the model is to adversarial attacks on segmentation masks under text prompts. We not only show the effectiveness of popular white-box attacks and resistance to black-box attacks but also introduce a novel approach - Focused Iterative Gradient Attack (FIGA) that combines white-box approaches to construct an efficient attack resulting in a smaller number of modified pixels. All of our testing methods and analyses indicate a need for enhanced safety measures in foundation models for image segmentation.
• Abstract（参考訳）: ファンデーションモデルは重要なツールとして登場し、膨大なデータセットの事前トレーニングと、その後の特定のアプリケーションの微調整を通じて、多くの複雑なタスクに対処している。 Segment Anything Modelは、コンピュータビジョンのセグメンテーションタスクのための、最もよく知られた基礎モデルの一つである。 本研究は,都市道路のダッシュボード画像に悪天候条件や雨滴を施すことで生成したマスクを著しく歪ませることを示すとともに,そのスタイル伝達がセグメンテーションマスクに与える影響を分析した。 2) モデルが有名人の顔の認識などのプライバシーに対する攻撃に利用できるかどうかを評価することに集中し, モデルが好ましくない知識を持っていることを示す。 (3)最後に,テキストプロンプト下のセグメンテーションマスクに対する攻撃に対して,モデルがいかに頑健であるかを確認する。 我々は、一般的なホワイトボックス攻撃の有効性とブラックボックス攻撃に対する抵抗性を示すだけでなく、ホワイトボックスアプローチを組み合わせて効率的な攻撃を構築する新しいアプローチであるフォーカスされた反復グラディエント攻撃(FIGA)を導入する。 画像セグメンテーションの基礎モデルにおける安全性対策の強化の必要性が示唆されている。

関連論文リスト

• On Evaluating Adversarial Robustness of Volumetric Medical Segmentation Models [59.45628259925441]
  体積医学セグメンテーションモデルは、臓器および腫瘍ベースのセグメンテーションタスクにおいて大きな成功を収めた。 敵の攻撃に対するその脆弱性はほとんど解明されていない。 このことは、既存のモデルの堅牢性を調べることの重要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-06-12T17:59:42Z)
• Unsegment Anything by Simulating Deformation [67.10966838805132]
  「無声化」とは、「無声化の権利」を画像に付与する作業である。 我々は、全てのプロンプトベースセグメンテーションモデルに対して、転送可能な敵攻撃を実現することを目指している。 本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
  論文  参考訳（メタデータ） (2024-04-03T09:09:42Z)
• Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on Segmentation Models [61.46999584579775]
  汎用セグメンテーションモデルは、様々なプロンプトから(意味)セグメンテーションマスクを生成することができる。 特に、入力画像は、イメージエンコーダによって前処理され、後にマスク予測に使用される埋め込みベクトルを得る。 我々は、半径$エプシロン=1/255$の知覚不能な摂動でさえ、ポイント、ボックス、テキストプロンプトで予測されるマスクを劇的に修正するのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-24T12:57:34Z)
• Understanding the Robustness of Randomized Feature Defense Against Query-Based Adversarial Attacks [23.010308600769545]
  ディープニューラルネットワークは、元の画像に近いサンプルを見つける敵の例に弱いが、モデルを誤分類させる可能性がある。 モデル中間層における隠れた特徴にランダムノイズを付加することにより,ブラックボックス攻撃に対する簡易かつ軽量な防御法を提案する。 本手法は,スコアベースと決定ベースの両方のブラックボックス攻撃に対するモデルのレジリエンスを効果的に向上させる。
  論文  参考訳（メタデータ） (2023-10-01T03:53:23Z)
• On Evaluating the Adversarial Robustness of Semantic Segmentation Models [0.0]
  敵の摂動に対する防御手段として、多くの敵の訓練アプローチが提案されている。 私たちは、前回の作業で堅牢であると主張するモデルが、実際にはまったく堅牢ではないことを初めて示しています。 次に, 強攻撃群においても, 合理的に堅牢なモデルを生成する, 単純な対向訓練アルゴリズムを評価する。
  論文  参考訳（メタデータ） (2023-06-25T11:45:08Z)
• Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples [68.5719552703438]
  Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。 深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。 この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
  論文  参考訳（メタデータ） (2023-05-01T15:08:17Z)
• Ensemble-based Blackbox Attacks on Dense Prediction [16.267479602370543]
  慎重に設計されたアンサンブルは、多くの犠牲者モデルに対して効果的な攻撃を発生させることができることを示す。 特に,個々のモデルに対する重み付けの正規化が,攻撃の成功に重要な役割を担っていることを示す。 提案手法は同時に複数のブラックボックス検出とセグメンテーションモデルを騙すことができる単一摂動を生成することができる。
  論文  参考訳（メタデータ） (2023-03-25T00:08:03Z)
• Orthogonal Deep Models As Defense Against Black-Box Attacks [71.23669614195195]
  攻撃者が標的モデルに類似したモデルを用いて攻撃を発生させるブラックボックス設定における深層モデル固有の弱点について検討する。 本稿では,深部モデルの内部表現を他のモデルに直交させる新しい勾配正規化手法を提案する。 様々な大規模モデルにおいて,本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-26T08:29:05Z)
• Model Watermarking for Image Processing Networks [120.918532981871]
  深層モデルの知的財産権を保護する方法は、非常に重要であるが、真に研究されていない問題である。 画像処理モデルを保護するための最初のモデル透かしフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-02-25T18:36:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。