論文の概要: Universal Cross-Prompt Adversarial Attacks on Promptable Concept Segmentation
- arxiv url: http://arxiv.org/abs/2609.39265v1
- Date: Wed, 30 Sep 2026 08:23:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.435291
- Title: Universal Cross-Prompt Adversarial Attacks on Promptable Concept Segmentation
- Title(参考訳): 確率的概念セグメンテーションにおけるユニバーサル・クロスプロンプト・アタック
- Abstract要約: 本稿では,Promptable Concept (PCS) モデルに対する汎用的クロスプロンプト対逆攻撃であるAdvPCSを提案する。
まず、min-maxバイレベル最適化により、最も攻撃が難しいプロンプトを同定する。
特に、SA-COデータセット上の様々なPCSモデルの平均mIoUを5%以下に削減する。
- 参考スコア(独自算出の注目度): 37.57401601867851
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Segment Anything Model (SAM) achieves remarkable performance in visual segmentation. The latest SAM3 extends promptable segmentation to concept-level prediction, broadening the scope of segmentation foundation models. While recent works reveal that SAM and SAM2 are vulnerable to adversarial examples, the robustness of SAM3 under the concept segmentation paradigm remains unexplored. In addition, existing adversarial attacks on SAM-series models exhibit limited cross-prompt transferability. To this end, we propose AdvPCS, a universal cross-prompt adversarial attack for Promptable Concept Segmentation (PCS), including a min-max prompt optimization strategy, a global-local perception deception attack, and a temporal transition deviation attack. Specifically, we first identify the hardest-to-attack prompts via min-max bilevel optimization. In the inner maximization, we enhance diversity over candidate point, box, and text prompts. In the outer minimization, we select prompts with the highest responses based on the confidence scores output by the detector. Given the selected prompts, we apply the perception deception attack to minimize both global and local existence probabilities under joint prompting and employ the temporal memory misalignment attack to maximize inter-frame semantic inconsistency and corrupt memory pointers. Extensive experiments on four benchmark datasets show that a single universal adversarial perturbation (UAP) generated by our method generalizes across frames from different videos and achieves strong attack performance under point, box, and text prompts. In particular, it reduces the average mIoU of various PCS models on the SA-CO dataset to below 5% under text prompts, demonstrating strong attack ability.
- Abstract(参考訳): Segment Anything Model (SAM) は視覚的セグメンテーションにおいて顕著なパフォーマンスを達成する。
最新のSAM3では、セグメンテーションを概念レベルの予測に拡張し、セグメンテーション基盤モデルの範囲を広げている。
近年の研究では、SAMとSAM2は敵の例に弱いことが判明しているが、SAM3のセグメンテーションパラダイムによる堅牢性は未解明のままである。
さらに、SAMシリーズモデルに対する既存の敵攻撃は、制限されたクロスプロンプト転送可能性を示す。
そこで本研究では,AdvPCSを提案する。Promptable Concept Segmentation (PCS) の汎用的クロスプロンプト対向攻撃であり,min-max のプロンプト最適化戦略,グローバルローカルな知覚誤認攻撃,時間遷移偏差攻撃を含む。
具体的には、まず、min-maxバイレベル最適化により、最も攻撃の難しいプロンプトを識別する。
内部最大化では、候補点、ボックス、テキストプロンプトの多様性を高める。
外部最小化では、検出器が出力する信頼スコアに基づいて、最も高い応答を持つプロンプトを選択する。
選択したプロンプトを考慮し,グローバルおよび局所的存在確率の最小化に知覚誤認攻撃を適用し,時間的メモリミスアライメント攻撃を用いてフレーム間のセマンティック不整合を最大化し,メモリポインタを劣化させる。
4つのベンチマークデータセットの大規模な実験により,本手法によって生成された1つの普遍的対向摂動(UAP)が,異なるビデオからフレーム間を一般化し,ポイント,ボックス,テキストプロンプト下での強力な攻撃性能を実現することが示された。
特に、SA-COデータセット上の様々なPCSモデルの平均mIoUを、テキストプロンプトで5%以下に削減し、強力な攻撃能力を示す。
関連論文リスト
- Vanish into Thin Air: Cross-prompt Universal Adversarial Attacks for SAM2 [48.71856814549096]
UAP-SAM2は,2つの意味的偏差によって駆動されるSAM2に対する最初のクロスプロンプト的普遍的敵攻撃である。
UAP-SAM2は, 最先端(SOTA)攻撃に対して, 大差で有意に優れていた。
論文 参考訳(メタデータ) (2025-10-28T08:59:11Z) - Promptable Fire Segmentation: Unleashing SAM2's Potential for Real-Time Mobile Deployment with Strategic Bounding Box Guidance [0.0]
本稿では,火災セグメンテーションのためのSAM2変種を包括的に評価する。
3つのファイアデータセットにまたがるモバイル指向の変種(TinySAM, MobileSAM)とともに,SAM2.1の4つの変種(tiny, small, base_plus, large)を体系的に評価した。
実験結果から,バウンディングボックスは自動および単一点ベースアプローチより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2025-10-18T09:15:43Z) - SecInfer: Preventing Prompt Injection via Inference-time Scaling [54.21558811232143]
emphSecInferは,インセンジェンス時間スケーリングに基づくインジェクション攻撃に対する新しい防御法である。
SecInferは、既存のインジェクション攻撃と適応的なインジェクション攻撃の両方を効果的に軽減し、最先端の防御と既存の推論時間スケーリングアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2025-09-29T16:00:41Z) - Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model [23.86303837709582]
本稿では,ポイントプロンプトを自動的に最適化する逆強化学習フレームワークであるPoint Prompt Defenderを提案する。
エージェントはSAMのセグメンテーション性能を最大に低下させるプロンプトのサブセットをアクティベートすることを学び、ディフェンダーエージェントはこれらの破壊的なプロンプトを抑えることを学び、精度を回復する。
実験の結果、Point Prompt DefenderはSAMの堅牢性と一般化を効果的に改善し、プロンプトベースのセグメンテーションのためのフレキシブルで解釈可能なプラグイン・アンド・プレイ・フレームワークを確立している。
論文 参考訳(メタデータ) (2025-09-23T10:59:24Z) - ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts [15.582637232358177]
ProSAMは、既存のSAMベースのビジュアル参照セグメンテーションアプローチにおいて、我々が特定した安定性の課題に対処する、シンプルだが効果的な方法である。
ProSAMは不安定な領域にあるプロンプトの生成を回避し、より堅牢でないプロンプトによって引き起こされる不安定さを克服する。
私たちのアプローチは、Pascal-5$i$とCOCO-20$i$データセットの最先端メソッドを一貫して超越しています。
論文 参考訳(メタデータ) (2025-06-27T00:50:15Z) - Stable Segment Anything Model [79.9005670886038]
SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。
本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。
1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
論文 参考訳(メタデータ) (2023-11-27T12:51:42Z) - A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。
本稿では,入力空間における自己教師型対向学習機構を提案する。
これは、反逆攻撃に対する強力な堅牢性を提供する。
論文 参考訳(メタデータ) (2020-06-08T20:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。