論文の概要: On the Adversarial Risk of Test Time Adaptation: An Investigation into Realistic Test-Time Data Poisoning
- arxiv url: http://arxiv.org/abs/2410.04682v2
- Date: Tue, 15 Oct 2024 06:27:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 02:37:51.063135
- Title: On the Adversarial Risk of Test Time Adaptation: An Investigation into Realistic Test-Time Data Poisoning
- Title（参考訳）: テスト時間適応の相反するリスクについて--実時間テストデータポジショニングの検討-
- Authors: Yongyi Su, Yushu Li, Nanqing Liu, Kui Jia, Xulei Yang, Chuan-Sheng Foo, Xun Xu,
- Abstract要約: テスト時間適応(TTA)は、テストデータを使用して推論段階でモデルの重みを更新し、一般化を強化する。
既存の研究では、TTAが逆方向検体で更新されると、良性検体の性能が低下することが示されている。
そこで本研究では, 良性試料にアクセスすることなく, 有毒試料を効果的かつ現実的に生成する手法を提案する。
- 参考スコア（独自算出の注目度）: 49.17494657762375
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Test-time adaptation (TTA) updates the model weights during the inference stage using testing data to enhance generalization. However, this practice exposes TTA to adversarial risks. Existing studies have shown that when TTA is updated with crafted adversarial test samples, also known as test-time poisoned data, the performance on benign samples can deteriorate. Nonetheless, the perceived adversarial risk may be overstated if the poisoned data is generated under overly strong assumptions. In this work, we first review realistic assumptions for test-time data poisoning, including white-box versus grey-box attacks, access to benign data, attack budget, and more. We then propose an effective and realistic attack method that better produces poisoned samples without access to benign samples, and derive an effective in-distribution attack objective. We also design two TTA-aware attack objectives. Our benchmarks of existing attack methods reveal that the TTA methods are more robust than previously believed. In addition, we analyze effective defense strategies to help develop adversarially robust TTA methods.
- Abstract（参考訳）: テスト時間適応(TTA)は、テストデータを使用して推論段階でモデルの重みを更新し、一般化を強化する。
しかし、この慣行はTTAを敵のリスクにさらしている。
既存の研究では、TTAが逆行性検体(テスト時間有毒データとしても知られる)で更新されると、良性検体の性能が低下することが示されている。
それでも、過度に強い仮定の下で有毒なデータが生成されると、認識された敵のリスクは過大評価される可能性がある。
本研究では、まず、ホワイトボックスとグレイボックスの攻撃、良質なデータへのアクセス、攻撃予算など、テスト時のデータ中毒に関する現実的な仮定をレビューする。
そこで本研究では, 良性試料へのアクセスを必要とせず, 有効かつ現実的な攻撃方法を提案する。
また、TTA対応攻撃目標を2つ設計する。
既存の攻撃手法のベンチマークから,TTA手法は従来考えられていたよりも堅牢であることが明らかとなった。
さらに,対戦型堅牢なTTA手法の開発を支援するための効果的な防衛戦略も分析した。
関連論文リスト
- Poison is Not Traceless: Fully-Agnostic Detection of Poisoning Attacks [4.064462548421468]
本稿では,潜在的に有毒なデータセットの分析にのみ依存する攻撃を検知する新しいフレームワークであるDIVAを提案する。
評価のために,本稿ではラベルフリップ攻撃に対するDIVAを検証した。
論文 参考訳（メタデータ） (2023-10-24T22:27:44Z) - Confidence-driven Sampling for Backdoor Attacks [49.72680157684523]
バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。
既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。
信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
論文 参考訳（メタデータ） (2023-10-08T18:57:36Z) - HINT: Healthy Influential-Noise based Training to Defend against Data
Poisoning Attacks [12.929357709840975]
本研究では,影響関数に基づくデータ中毒攻撃を効果的かつ堅牢に防ぐためのトレーニング手法を提案する。
影響関数を用いて、有害な攻撃に対する分類モデルを強化するのに役立つ健全なノイズを創出する。
実験の結果,HINTは非標的および標的の毒殺攻撃の効果に対して,ディープラーニングモデルを効果的に保護できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:12:19Z) - On Practical Aspects of Aggregation Defenses against Data Poisoning
Attacks [58.718697580177356]
悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。
データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。
ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
論文 参考訳（メタデータ） (2023-06-28T17:59:35Z) - Temporal Robustness against Data Poisoning [69.01705108817785]
データ中毒は、悪意のあるトレーニングデータを通じて、敵対者が機械学習アルゴリズムの振る舞いを操作する場合を考慮している。
本研究では,攻撃開始時間と攻撃持続時間を測定する2つの新しい指標である耳線と持続時間を用いたデータ中毒の時間的脅威モデルを提案する。
論文 参考訳（メタデータ） (2023-02-07T18:59:19Z) - Uncovering Adversarial Risks of Test-Time Adaptation [41.19226800089764]
テスト時間適応(TTA)は、分散シフトに対処するための有望な解決策として提案されている。
我々は、良性サンプルの予測が同一バッチ内の悪意のあるサンプルに影響される可能性があるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。
テストバッチに少数の悪意のあるデータを注入する分散侵入攻撃(DIA)を提案する。
論文 参考訳（メタデータ） (2023-01-29T22:58:05Z) - Adversarial Attacks and Defense for Non-Parametric Two-Sample Tests [73.32304304788838]
本稿では,非パラメトリックTSTの障害モードを逆攻撃により系統的に明らかにする。
TST非依存的な攻撃を可能にするために,異なる種類のテスト基準を協調的に最小化するアンサンブル攻撃フレームワークを提案する。
そこで本研究では,TSTの強化のために,逆対を反復的に生成し,深層カーネルを訓練する最大最小最適化を提案する。
論文 参考訳（メタデータ） (2022-02-07T11:18:04Z) - Defending Regression Learners Against Poisoning Attacks [25.06658793731661]
N-LIDと呼ばれる新しい局所固有次元(LID)に基づく測度を導入し,その近傍データ点のLIDの局所偏差を測定する。
N-LIDは、正常なサンプルから有毒なサンプルを識別し、攻撃者を仮定しないN-LIDベースの防御アプローチを提案する。
提案した防御機構は,予測精度(未固定リッジモデルと比較して最大76%低いMSE)とランニング時間において,より優れることを示す。
論文 参考訳（メタデータ） (2020-08-21T03:02:58Z) - Just How Toxic is Data Poisoning? A Unified Benchmark for Backdoor and
Data Poisoning Attacks [74.88735178536159]
データ中毒は、モデル盗難から敵の攻撃まで、脅威の中で一番の懸念事項だ。
データ中毒やバックドア攻撃は、テスト設定のバリエーションに非常に敏感である。
厳格なテストを適用して、それらを恐れるべき程度を判断します。
論文 参考訳（メタデータ） (2020-06-22T18:34:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。