論文の概要: Unsegment Anything by Simulating Deformation
- arxiv url: http://arxiv.org/abs/2404.02585v1
- Date: Wed, 3 Apr 2024 09:09:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:00:28.402947
- Title: Unsegment Anything by Simulating Deformation
- Title(参考訳): 変形を模擬したアンセグメント
- Authors: Jiahao Lu, Xingyi Yang, Xinchao Wang,
- Abstract要約: 「無声化」とは、「無声化の権利」を画像に付与する作業である。
我々は、全てのプロンプトベースセグメンテーションモデルに対して、転送可能な敵攻撃を実現することを目指している。
本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
- 参考スコア(独自算出の注目度): 67.10966838805132
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation segmentation models, while powerful, pose a significant risk: they enable users to effortlessly extract any objects from any digital content with a single click, potentially leading to copyright infringement or malicious misuse. To mitigate this risk, we introduce a new task "Anything Unsegmentable" to grant any image "the right to be unsegmented". The ambitious pursuit of the task is to achieve highly transferable adversarial attacks against all prompt-based segmentation models, regardless of model parameterizations and prompts. We highlight the non-transferable and heterogeneous nature of prompt-specific adversarial noises. Our approach focuses on disrupting image encoder features to achieve prompt-agnostic attacks. Intriguingly, targeted feature attacks exhibit better transferability compared to untargeted ones, suggesting the optimal update direction aligns with the image manifold. Based on the observations, we design a novel attack named Unsegment Anything by Simulating Deformation (UAD). Our attack optimizes a differentiable deformation function to create a target deformed image, which alters structural information while preserving achievable feature distance by adversarial example. Extensive experiments verify the effectiveness of our approach, compromising a variety of promptable segmentation models with different architectures and prompt interfaces. We release the code at https://github.com/jiahaolu97/anything-unsegmentable.
- Abstract(参考訳): ファンデーションセグメンテーションモデルは強力だが、大きなリスクが伴う。ユーザーはデジタルコンテンツからあらゆるオブジェクトをワンクリックで取り出すことができ、著作権侵害や悪意ある誤用につながる可能性がある。
このリスクを軽減するために,我々は,任意のイメージを「非隔離権」として付与する,新たなタスク "Anything Unsegmentable" を導入する。
このタスクの野心的な追求は、モデルパラメータ化やプロンプトに関わらず、すべてのプロンプトベースのセグメンテーションモデルに対する高度に伝達可能な敵攻撃を達成することである。
本稿では,非伝達性および不均一性を有する突発性対向雑音について述べる。
本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
興味深いことに、ターゲットとなる特徴攻撃は、未ターゲットの攻撃よりも優れた伝達性を示し、最適な更新方向が画像多様体に一致していることを示唆している。
本研究は, シミュレーション変形(UAD)によるアンセグメント・アニーシング(Unsegment Anything)と呼ばれる新たな攻撃を設計した。
我々の攻撃は、可変変形関数を最適化し、対象の変形した画像を生成し、これは、達成可能な特徴距離を敵の例で保存しながら、構造情報を変化させる。
広範囲にわたる実験により,提案手法の有効性が検証され,異なるアーキテクチャとプロンプトインタフェースを備えた,様々なプロンプト可能なセグメンテーションモデルが実現された。
コードについてはhttps://github.com/jiahaolu97/anything-unsegmentable.comで公開しています。
関連論文リスト
- Red-Teaming Segment Anything Model [6.66538432730354]
Segment Anything Modelは、コンピュータビジョンのセグメンテーションタスクのための、最もよく知られた基礎モデルの一つである。
この研究は、Segment Anything Modelを困難なタスクに対してテストする、多面的な赤チーム分析を提示します。
論文 参考訳(メタデータ) (2024-04-02T16:07:50Z) - Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on
Segmentation Models [61.46999584579775]
汎用セグメンテーションモデルは、様々なプロンプトから(意味)セグメンテーションマスクを生成することができる。
特に、入力画像は、イメージエンコーダによって前処理され、後にマスク予測に使用される埋め込みベクトルを得る。
我々は、半径$エプシロン=1/255$の知覚不能な摂動でさえ、ポイント、ボックス、テキストプロンプトで予測されるマスクを劇的に修正するのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-24T12:57:34Z) - Robust Semantic Segmentation: Strong Adversarial Attacks and Fast
Training of Robust Models [55.19586522442065]
攻撃セグメンテーションモデルがタスク固有の課題を示し、新しい解決策を提案する。
我々の最終評価プロトコルは既存の手法よりも優れており、モデルの頑健さを過大評価できることを示す。
論文 参考訳(メタデータ) (2023-06-22T14:56:06Z) - Influencer Backdoor Attack on Semantic Segmentation [39.57965442338681]
インフルエンサーバックドアアタック(IBA)はセマンティックセグメンテーションモデルに対するバックドアアタックである。
IBAは、すべての推定において、非ビビティ画素の分類精度と、すべての犠牲者画素の誤った分類を維持することが期待されている。
我々は,被害者の画素から離れた位置にトリガを配置しても最適な性能を維持する,革新的なPixelランダムラベリング戦略を導入する。
論文 参考訳(メタデータ) (2023-03-21T17:45:38Z) - To Make Yourself Invisible with Adversarial Semantic Contours [47.755808439588094]
逆セマンティック・コンター(英: Adversarial Semantic Contour、ASC)は、物体の輪郭の前に騙されたスパース・アタックのベイズ的定式化の見積もりである。
ASCは、異なるアーキテクチャを持つ9つの近代検出器の予測を損なう可能性があることを示す。
我々は、様々なアーキテクチャを持つ物体検出器の共通弱点である輪郭について注意を払って結論付けた。
論文 参考訳(メタデータ) (2023-03-01T07:22:39Z) - A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。
単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。
本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
論文 参考訳(メタデータ) (2022-10-12T16:18:25Z) - Adversarial Pixel Restoration as a Pretext Task for Transferable
Perturbations [54.1807206010136]
トランスファー可能な敵攻撃は、事前訓練された代理モデルと既知のラベル空間から敵を最適化し、未知のブラックボックスモデルを騙す。
本稿では,効果的なサロゲートモデルをスクラッチからトレーニングするための自己教師型代替手段として,Adversarial Pixel Restorationを提案する。
我々のトレーニングアプローチは、敵の目標を通したオーバーフィッティングを減らすmin-maxの目標に基づいています。
論文 参考訳(メタデータ) (2022-07-18T17:59:58Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳(メタデータ) (2021-03-06T05:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。