論文の概要: Unsegment Anything by Simulating Deformation
- arxiv url: http://arxiv.org/abs/2404.02585v1
- Date: Wed, 3 Apr 2024 09:09:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 18:00:28.402947
- Title: Unsegment Anything by Simulating Deformation
- Title(参考訳): 変形を模擬したアンセグメント
- Authors: Jiahao Lu, Xingyi Yang, Xinchao Wang,
- Abstract要約: 「無声化」とは、「無声化の権利」を画像に付与する作業である。
我々は、全てのプロンプトベースセグメンテーションモデルに対して、転送可能な敵攻撃を実現することを目指している。
本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
- 参考スコア(独自算出の注目度): 67.10966838805132
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation segmentation models, while powerful, pose a significant risk: they enable users to effortlessly extract any objects from any digital content with a single click, potentially leading to copyright infringement or malicious misuse. To mitigate this risk, we introduce a new task "Anything Unsegmentable" to grant any image "the right to be unsegmented". The ambitious pursuit of the task is to achieve highly transferable adversarial attacks against all prompt-based segmentation models, regardless of model parameterizations and prompts. We highlight the non-transferable and heterogeneous nature of prompt-specific adversarial noises. Our approach focuses on disrupting image encoder features to achieve prompt-agnostic attacks. Intriguingly, targeted feature attacks exhibit better transferability compared to untargeted ones, suggesting the optimal update direction aligns with the image manifold. Based on the observations, we design a novel attack named Unsegment Anything by Simulating Deformation (UAD). Our attack optimizes a differentiable deformation function to create a target deformed image, which alters structural information while preserving achievable feature distance by adversarial example. Extensive experiments verify the effectiveness of our approach, compromising a variety of promptable segmentation models with different architectures and prompt interfaces. We release the code at https://github.com/jiahaolu97/anything-unsegmentable.
- Abstract(参考訳): ファンデーションセグメンテーションモデルは強力だが、大きなリスクが伴う。ユーザーはデジタルコンテンツからあらゆるオブジェクトをワンクリックで取り出すことができ、著作権侵害や悪意ある誤用につながる可能性がある。
このリスクを軽減するために,我々は,任意のイメージを「非隔離権」として付与する,新たなタスク "Anything Unsegmentable" を導入する。
このタスクの野心的な追求は、モデルパラメータ化やプロンプトに関わらず、すべてのプロンプトベースのセグメンテーションモデルに対する高度に伝達可能な敵攻撃を達成することである。
本稿では,非伝達性および不均一性を有する突発性対向雑音について述べる。
本手法は, 画像エンコーダの特徴を破壊し, 即時攻撃を実現することに焦点を当てる。
興味深いことに、ターゲットとなる特徴攻撃は、未ターゲットの攻撃よりも優れた伝達性を示し、最適な更新方向が画像多様体に一致していることを示唆している。
本研究は, シミュレーション変形(UAD)によるアンセグメント・アニーシング(Unsegment Anything)と呼ばれる新たな攻撃を設計した。
我々の攻撃は、可変変形関数を最適化し、対象の変形した画像を生成し、これは、達成可能な特徴距離を敵の例で保存しながら、構造情報を変化させる。
広範囲にわたる実験により,提案手法の有効性が検証され,異なるアーキテクチャとプロンプトインタフェースを備えた,様々なプロンプト可能なセグメンテーションモデルが実現された。
コードについてはhttps://github.com/jiahaolu97/anything-unsegmentable.comで公開しています。
関連論文リスト
- UnSeg: One Universal Unlearnable Example Generator is Enough against All Image Segmentation [64.01742988773745]
未承認のプライベートデータ上での大規模なイメージセグメンテーションモデルのトレーニングに関して、プライバシーに関する懸念が高まっている。
我々は、学習不可能な例の概念を利用して、学習不可能なノイズを原画像に生成し、付加することにより、モデルトレーニングに使用不能な画像を作成する。
6つのメインストリームイメージセグメンテーションタスク、10つの広く使われているデータセット、7つの異なるネットワークアーキテクチャでUnSegの有効性を実証的に検証する。
論文 参考訳(メタデータ) (2024-10-13T16:34:46Z) - Imperceptible Face Forgery Attack via Adversarial Semantic Mask [59.23247545399068]
本稿では, 対向性, 可視性に優れた対向性例を生成できるASMA(Adversarial Semantic Mask Attack framework)を提案する。
具体的には, 局所的なセマンティック領域の摂動を抑制し, 良好なステルス性を実現する, 対向型セマンティックマスク生成モデルを提案する。
論文 参考訳(メタデータ) (2024-06-16T10:38:11Z) - Red-Teaming Segment Anything Model [6.66538432730354]
Segment Anything Modelは、コンピュータビジョンのセグメンテーションタスクのための、最もよく知られた基礎モデルの一つである。
この研究は、Segment Anything Modelを困難なタスクに対してテストする、多面的な赤チーム分析を提示します。
論文 参考訳(メタデータ) (2024-04-02T16:07:50Z) - Segment (Almost) Nothing: Prompt-Agnostic Adversarial Attacks on
Segmentation Models [61.46999584579775]
汎用セグメンテーションモデルは、様々なプロンプトから(意味)セグメンテーションマスクを生成することができる。
特に、入力画像は、イメージエンコーダによって前処理され、後にマスク予測に使用される埋め込みベクトルを得る。
我々は、半径$エプシロン=1/255$の知覚不能な摂動でさえ、ポイント、ボックス、テキストプロンプトで予測されるマスクを劇的に修正するのに十分であることを示す。
論文 参考訳(メタデータ) (2023-11-24T12:57:34Z) - Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models [47.03411822627386]
我々は,mIoUとmIoUの精度の異なる指標を最小化する,いくつかの問題固有の新規攻撃を提案する。
驚くべきことに、セマンティックセグメンテーションモデルに対する既存の敵の訓練の試みは、弱かったり、全く損なわれなかったりする。
最近提案された堅牢なImageNetバックボーンを用いて,PASCAL-VOCとADE20kの最大6倍のトレーニング時間を持つ,対向的に堅牢なセマンティックセマンティックセマンティクスモデルを得ることができることを示す。
論文 参考訳(メタデータ) (2023-06-22T14:56:06Z) - Influencer Backdoor Attack on Semantic Segmentation [39.57965442338681]
インフルエンサーバックドアアタック(IBA)はセマンティックセグメンテーションモデルに対するバックドアアタックである。
IBAは、すべての推定において、非ビビティ画素の分類精度と、すべての犠牲者画素の誤った分類を維持することが期待されている。
我々は,被害者の画素から離れた位置にトリガを配置しても最適な性能を維持する,革新的なPixelランダムラベリング戦略を導入する。
論文 参考訳(メタデータ) (2023-03-21T17:45:38Z) - A Generalist Framework for Panoptic Segmentation of Images and Videos [61.61453194912186]
我々は,タスクの帰納バイアスに頼ることなく,離散的なデータ生成問題としてパノプティクスセグメンテーションを定式化する。
単純な構造と一般的な損失関数を持つパノスコープマスクをモデル化するための拡散モデルを提案する。
本手法は,動画を(ストリーミング環境で)モデル化し,オブジェクトのインスタンスを自動的に追跡することを学ぶ。
論文 参考訳(メタデータ) (2022-10-12T16:18:25Z) - Hidden Backdoor Attack against Semantic Segmentation Models [60.0327238844584]
Emphbackdoor攻撃は、深層ニューラルネットワーク(DNN)に隠れたバックドアを埋め込み、トレーニングデータに毒を盛ることを目的としている。
我々は,対象ラベルを画像レベルではなくオブジェクトレベルから扱う,新たな攻撃パラダイムであるemphfine-fine-grained attackを提案する。
実験により、提案手法はわずかなトレーニングデータだけを毒殺することでセマンティックセグメンテーションモデルを攻撃することに成功した。
論文 参考訳(メタデータ) (2021-03-06T05:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。