論文の概要: Robust SAM: On the Adversarial Robustness of Vision Foundation Models

• arxiv url: http://arxiv.org/abs/2504.08906v1
• Date: Fri, 11 Apr 2025 18:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:00.277933
• Title: Robust SAM: On the Adversarial Robustness of Vision Foundation Models
• Title（参考訳）: ロバストSAM:ビジョンファウンデーションモデルの逆ロバスト性について
• Authors: Jiahuan Long, Zhengqin Xu, Tingsong Jiang, Wen Yao, Shuai Jia, Chao Ma, Xiaoqian Chen,
• Abstract要約: Segment Anything Model (SAM) は様々なアプリケーションで広く使われているビジョン基盤モデルである。 本稿では,SAMのロバスト性の評価と強化を目的とした,対向的ロバスト性フレームワークを提案する。 512個のパラメータにのみ適応することにより、結合平均交差の少なくとも15%の改善が達成される。
• 参考スコア（独自算出の注目度）: 10.86747502936825
• License:
• Abstract: The Segment Anything Model (SAM) is a widely used vision foundation model with diverse applications, including image segmentation, detection, and tracking. Given SAM's wide applications, understanding its robustness against adversarial attacks is crucial for real-world deployment. However, research on SAM's robustness is still in its early stages. Existing attacks often overlook the role of prompts in evaluating SAM's robustness, and there has been insufficient exploration of defense methods to balance the robustness and accuracy. To address these gaps, this paper proposes an adversarial robustness framework designed to evaluate and enhance the robustness of SAM. Specifically, we introduce a cross-prompt attack method to enhance the attack transferability across different prompt types. Besides attacking, we propose a few-parameter adaptation strategy to defend SAM against various adversarial attacks. To balance robustness and accuracy, we use the singular value decomposition (SVD) to constrain the space of trainable parameters, where only singular values are adaptable. Experiments demonstrate that our cross-prompt attack method outperforms previous approaches in terms of attack success rate on both SAM and SAM 2. By adapting only 512 parameters, we achieve at least a 15\% improvement in mean intersection over union (mIoU) against various adversarial attacks. Compared to previous defense methods, our approach enhances the robustness of SAM while maximally maintaining its original performance.
• Abstract（参考訳）: Segment Anything Model (SAM) は、画像のセグメンテーション、検出、追跡など様々な用途で広く使われているビジョン基盤モデルである。 SAMの幅広い応用を考えると、敵の攻撃に対する堅牢性を理解することは、現実世界の展開に不可欠である。 しかし、SAMの堅牢性の研究はまだ初期段階にある。 既存の攻撃はしばしばSAMの堅牢性を評価するためのプロンプトの役割を見落としており、ロバスト性と精度のバランスをとるための防衛方法の探究は不十分である。 これらのギャップに対処するために,SAMの頑健性の評価と強化を目的とした対向的頑健性フレームワークを提案する。 具体的には,異なるプロンプトタイプ間の攻撃伝達性を高めるために,クロスプロンプト攻撃手法を提案する。 攻撃の他に、SAMを様々な敵攻撃に対して防御するための数パラメータ適応戦略を提案する。 頑健性と精度のバランスをとるために、特異値分解(SVD)を用いてトレーニング可能なパラメータの空間を制限し、特異値のみが適応可能である。 実験により, SAMおよびSAM2の攻撃成功率において, クロスプロンプト攻撃法は従来手法よりも優れていたことがわかった。 512個のパラメータのみを適応することにより、様々な敵攻撃に対して、平均対合(mIoU)平均交叉率を少なくとも15倍改善する。 従来の防御手法と比較して,本手法はSAMのロバスト性を高めつつ,元の性能を最大限に維持する。

関連論文リスト

• Meta Invariance Defense Towards Generalizable Robustness to Unknown Adversarial Attacks [62.036798488144306]
  現在の防衛は主に既知の攻撃に焦点を当てているが、未知の攻撃に対する敵意の強固さは見過ごされている。 メタ不変防衛(Meta Invariance Defense, MID)と呼ばれる攻撃非依存の防御手法を提案する。 MIDは高レベルの画像分類と低レベルの頑健な画像再生における攻撃抑制において,知覚不能な逆方向の摂動に対して同時に頑健性を実現する。
  論文  参考訳（メタデータ） (2024-04-04T10:10:38Z)
• On the Duality Between Sharpness-Aware Minimization and Adversarial Training [14.863336218063646]
  対戦訓練(AT)は、敵の攻撃に対する最も効果的な防御の1つだが、必然的にクリーンな精度が低下している。 サンプルを摂動させる代わりに、SAM(Sharpness-Aware Minimization)はトレーニング中にモデルの重量を摂動させ、より平坦なロスランドスケープを見つける。 SAMのみを用いることで、敵の堅牢性を向上させることができる。
  論文  参考訳（メタデータ） (2024-02-23T07:22:55Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)
• Black-box Targeted Adversarial Attack on Segment Anything (SAM) [24.927514923402775]
  本研究は,Segment Anything Model (SAM) におけるターゲット対敵攻撃 (TAA) の実現を目的とする。 具体的には、特定のプロンプトの下では、敵の例の予測マスクを所定のターゲット画像のマスクに類似させることが目的である。 本稿では, ランダムな自然画像に対する逆画像の特徴優位性を高めることで, クロスモデル転送可能性を高める新たな正規化損失を提案する。
  論文  参考訳（メタデータ） (2023-10-16T02:09:03Z)
• On the Robustness of Segment Anything [46.669794757467166]
  我々は, SAMの試験時間ロバスト性について, 敵のシナリオと共通の腐敗下で検討することを目的としている。 SAMは、ぼやけた汚職を除いて、様々な汚職に対して顕著な堅牢性を示す。
  論文  参考訳（メタデータ） (2023-05-25T16:28:30Z)
• Attack-SAM: Towards Attacking Segment Anything Model With Adversarial Examples [68.5719552703438]
  Segment Anything Model (SAM) は、様々なダウンストリームタスクにおける印象的なパフォーマンスのために、最近大きな注目を集めている。 深い視覚モデルは敵の例に弱いと広く認識されており、それはモデルを騙して知覚不能な摂動で間違った予測をする。 この研究は、SAMの攻撃方法に関する総合的な調査を敵対的な例で実施した最初のものである。
  論文  参考訳（メタデータ） (2023-05-01T15:08:17Z)
• Improving Adversarial Robustness to Sensitivity and Invariance Attacks with Deep Metric Learning [80.21709045433096]
  対向ロバスト性の標準的な方法は、サンプルを最小に摂動させることによって作られたサンプルに対して防御する枠組みを仮定する。 距離学習を用いて、最適輸送問題として逆正則化をフレーム化する。 予備的な結果から, 変分摂動の規則化は, 変分防御と敏感防御の両方を改善することが示唆された。
  論文  参考訳（メタデータ） (2022-11-04T13:54:02Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
  本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。 そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
  論文  参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。