論文の概要: Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model

• arxiv url: http://arxiv.org/abs/2509.18891v1
• Date: Tue, 23 Sep 2025 10:59:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.817669
• Title: Attack for Defense: Adversarial Agents for Point Prompt Optimization Empowering Segment Anything Model
• Title（参考訳）: 防衛攻撃: セグメンテーションモデルを活用したポイントプロンプト最適化のための敵エージェント
• Authors: Xueyu Liu, Xiaoyi Zhang, Guangze Shi, Meilin Liu, Yexin Lai, Yongfei Wu, Mingqiang Wei,
• Abstract要約: 本稿では,ポイントプロンプトを自動的に最適化する逆強化学習フレームワークであるPoint Prompt Defenderを提案する。 エージェントはSAMのセグメンテーション性能を最大に低下させるプロンプトのサブセットをアクティベートすることを学び、ディフェンダーエージェントはこれらの破壊的なプロンプトを抑えることを学び、精度を回復する。 実験の結果、Point Prompt DefenderはSAMの堅牢性と一般化を効果的に改善し、プロンプトベースのセグメンテーションのためのフレキシブルで解釈可能なプラグイン・アンド・プレイ・フレームワークを確立している。
• 参考スコア（独自算出の注目度）: 23.86303837709582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompt quality plays a critical role in the performance of the Segment Anything Model (SAM), yet existing approaches often rely on heuristic or manually crafted prompts, limiting scalability and generalization. In this paper, we propose Point Prompt Defender, an adversarial reinforcement learning framework that adopts an attack-for-defense paradigm to automatically optimize point prompts. We construct a task-agnostic point prompt environment by representing image patches as nodes in a dual-space graph, where edges encode both physical and semantic distances. Within this environment, an attacker agent learns to activate a subset of prompts that maximally degrade SAM's segmentation performance, while a defender agent learns to suppress these disruptive prompts and restore accuracy. Both agents are trained using Deep Q-Networks with a reward signal based on segmentation quality variation. During inference, only the defender is deployed to refine arbitrary coarse prompt sets, enabling enhanced SAM segmentation performance across diverse tasks without retraining. Extensive experiments show that Point Prompt Defender effectively improves SAM's robustness and generalization, establishing a flexible, interpretable, and plug-and-play framework for prompt-based segmentation.
• Abstract（参考訳）: SAM(Segment Anything Model)のパフォーマンスにおいて、プロンプトの品質は重要な役割を果たすが、既存のアプローチは、しばしばヒューリスティックまたは手作業によるプロンプトに依存し、スケーラビリティと一般化を制限している。 本稿では,ポイントプロンプトを自動最適化するアタック・フォー・ディフェンス・パラダイムを採用した対戦型強化学習フレームワークであるPoint Prompt Defenderを提案する。 画像パッチを2次元空間グラフのノードとして表現することで,タスクに依存しないポイントプロンプト環境を構築し,エッジが物理的距離と意味的距離の両方を符号化する。 この環境では、攻撃エージェントがSAMのセグメンテーション性能を最大に低下させるプロンプトのサブセットを活性化することを学ぶ一方、ディフェンダーエージェントはこれらの破壊的なプロンプトを抑え、精度を回復することを学ぶ。 どちらのエージェントも、セグメンテーション品質の変動に基づいた報酬信号を持つDeep Q-Networksを使ってトレーニングされている。 推論中は、任意の粗いプロンプトセットを洗練するためにディフェンダーのみがデプロイされ、様々なタスクにまたがってSAMセグメンテーション性能が向上する。 広範な実験により、Point Prompt DefenderはSAMの堅牢性と一般化を効果的に改善し、プロンプトベースのセグメンテーションのためのフレキシブルで解釈可能な、プラグアンドプレイのフレームワークを確立している。

関連論文リスト

• PromptSleuth: Detecting Prompt Injection via Semantic Intent Invariance [10.105673138616483]
  大規模言語モデル(LLM)は、仮想アシスタントから自律エージェントに至るまで、現実のアプリケーションにますます統合されている。 攻撃者がパラフレーズ、難読化、マルチタスクのインジェクション戦略で進化するにつれて、既存のベンチマークは、出現する脅威の全スペクトルを捉えるのに十分ではない。 PromptSleuthは,表面的特徴ではなくタスクレベルの意図を推論することで,迅速なインジェクションを検出するセマンティック指向の防衛フレームワークである。
  論文  参考訳（メタデータ） (2025-08-28T15:19:07Z)
• Misaligned Roles, Misplaced Images: Structural Input Perturbations Expose Multimodal Alignment Blind Spots [6.302734977940601]
  本稿では,ユーザとアシスタント間の役割混乱を利用した対人攻撃のクラスであるロール・モダリティ・アタック(RMA)を紹介する。 RMAはクエリ自体を変更することなく入力構造を操作する。 本稿では,入力の急激な摂動に対してモデルを頑健にするための逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T03:54:36Z)
• Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
  本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。 この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。 安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
  論文  参考訳（メタデータ） (2024-06-16T15:24:50Z)
• AlignSAM: Aligning Segment Anything Model to Open Context via Reinforcement Learning [61.666973416903005]
  Segment Anything Model (SAM)は、オープンワールドシナリオにおいて、プロンプトのガイダンスによって、その印象的な一般化機能を実証した。 オープンコンテキストにSAMをアライメントするための自動プロンプトのための新しいフレームワークAlignSAMを提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:21:39Z)
• Spectral regularization for adversarially-robust representation learning [32.84188052937496]
  下流の分類タスクにおけるブラックボックスの対角ロバスト性を促進する表現学習のための新しいスペクトル正規化器を提案する。 本手法は, ネットワークのすべての層を正規化する手法よりも, テスト精度とロバスト性の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2024-05-27T14:01:42Z)
• SegPGD: An Effective and Efficient Adversarial Attack for Evaluating and Boosting Segmentation Robustness [63.726895965125145]
  ディープニューラルネットワークに基づく画像分類は、敵の摂動に弱い。 本研究では,SegPGDと呼ばれる効果的かつ効率的なセグメンテーション攻撃手法を提案する。 SegPGDはより効果的な敵の例を生成することができるため、SegPGDを用いた敵の訓練はセグメントモデルの堅牢性を高めることができる。
  論文  参考訳（メタデータ） (2022-07-25T17:56:54Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)
• Dynamic Divide-and-Conquer Adversarial Training for Robust Semantic Segmentation [79.42338812621874]
  敵のトレーニングは、敵の摂動に対するディープニューラルネットワークの堅牢性を改善することを約束している。 本研究は, 敵とクリーンの両方のサンプルに対して良好に動作可能な, 汎用的な敵の訓練手順を定式化する。 本稿では,防衛効果を高めるための動的分割対対人訓練(DDC-AT)戦略を提案する。
  論文  参考訳（メタデータ） (2020-03-14T05:06:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。