論文の概要: Uncovering Adversarial Risks of Test-Time Adaptation

• arxiv url: http://arxiv.org/abs/2301.12576v1
• Date: Sun, 29 Jan 2023 22:58:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:22:24.526655
• Title: Uncovering Adversarial Risks of Test-Time Adaptation
• Title（参考訳）: テスト時間適応の敵意的リスクを明らかにする
• Authors: Tong Wu, Feiran Jia, Xiangyu Qi, Jiachen T. Wang, Vikash Sehwag, Saeed Mahloujifar, Prateek Mittal
• Abstract要約: テスト時間適応(TTA)は、分散シフトに対処するための有望な解決策として提案されている。 我々は、良性サンプルの予測が同一バッチ内の悪意のあるサンプルに影響される可能性があるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。 テストバッチに少数の悪意のあるデータを注入する分散侵入攻撃(DIA)を提案する。
• 参考スコア（独自算出の注目度）: 41.19226800089764
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, test-time adaptation (TTA) has been proposed as a promising solution for addressing distribution shifts. It allows a base model to adapt to an unforeseen distribution during inference by leveraging the information from the batch of (unlabeled) test data. However, we uncover a novel security vulnerability of TTA based on the insight that predictions on benign samples can be impacted by malicious samples in the same batch. To exploit this vulnerability, we propose Distribution Invading Attack (DIA), which injects a small fraction of malicious data into the test batch. DIA causes models using TTA to misclassify benign and unperturbed test data, providing an entirely new capability for adversaries that is infeasible in canonical machine learning pipelines. Through comprehensive evaluations, we demonstrate the high effectiveness of our attack on multiple benchmarks across six TTA methods. In response, we investigate two countermeasures to robustify the existing insecure TTA implementations, following the principle of "security by design". Together, we hope our findings can make the community aware of the utility-security tradeoffs in deploying TTA and provide valuable insights for developing robust TTA approaches.
• Abstract（参考訳）: 近年,分布シフトに対処するための有望なソリューションとして,テスト時間適応(tta)が提案されている。 ベースモデルは、(ラベルのない)テストデータのバッチからの情報を活用することで、推論中に予期せぬ分布に適応することができる。 しかし、良性サンプルの予測は、同じバッチ内の悪意のあるサンプルによって影響されるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。 この脆弱性を利用するために,テストバッチに悪意のあるデータのごく一部を注入する分散侵入攻撃(dia)を提案する。 DIAは、TTAを使用したモデルに、良性および不飽和なテストデータを誤分類させ、標準的な機械学習パイプラインでは不可能な敵に対して、まったく新しい機能を提供する。 総合的な評価を通じて、6つのTTAメソッドにわたる複数のベンチマークに対する攻撃の有効性を示す。 そこで本研究では,既存の安全でないTTA実装を「設計によるセキュリティ」の原則に従って強化する2つの対策について検討する。 共に、私たちの発見が、TTAのデプロイにおけるユーティリティセキュリティのトレードオフをコミュニティに認識させ、堅牢なTTAアプローチを開発する上で貴重な洞察を提供することを期待しています。

関連論文リスト

• On the Adversarial Risk of Test Time Adaptation: An Investigation into Realistic Test-Time Data Poisoning [49.17494657762375]
  テスト時間適応(TTA)は、テストデータを使用して推論段階でモデルの重みを更新し、一般化を強化する。 既存の研究では、TTAが逆方向検体で更新されると、良性検体の性能が低下することが示されている。 そこで本研究では, 良性試料にアクセスすることなく, 有毒試料を効果的かつ現実的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T01:29:19Z)
• MedBN: Robust Test-Time Adaptation against Malicious Test Samples [11.397666167665484]
  テスト時間適応(TTA)は、トレーニングデータとテストデータの間の予期せぬ分散シフトによるパフォーマンス劣化に対処する、有望なソリューションとして登場した。 以前の研究では、テストバッチのごく一部が不正に操作された場合でも、TTA内のセキュリティ脆弱性が明らかになった。 テスト時間推論におけるバッチ正規化層内の統計量推定に中央値のロバスト性を利用する中央値バッチ正規化(MedBN)を提案する。
  論文  参考訳（メタデータ） (2024-03-28T11:33:02Z)
• Uncertainty-Calibrated Test-Time Model Adaptation without Forgetting [55.17761802332469]
  テスト時間適応(TTA)は、与えられたモデルw.r.t.を任意のテストサンプルに適用することにより、トレーニングデータとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 事前の手法は各テストサンプルに対してバックプロパゲーションを実行するため、多くのアプリケーションに対して許容できない最適化コストがかかる。 本稿では, 有効サンプル選択基準を策定し, 信頼性および非冗長なサンプルを同定する, 効率的なアンチフォッティングテスト時間適応法を提案する。
  論文  参考訳（メタデータ） (2024-03-18T05:49:45Z)
• Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
  DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:36:31Z)
• Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
  そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。 提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
  論文  参考訳（メタデータ） (2023-04-25T12:29:22Z)
• Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
  テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。 TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
  論文  参考訳（メタデータ） (2023-02-24T02:03:41Z)
• Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
  テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。 信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。 また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
  論文  参考訳（メタデータ） (2022-04-06T06:39:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。