論文の概要: Uncovering Adversarial Risks of Test-Time Adaptation
- arxiv url: http://arxiv.org/abs/2301.12576v1
- Date: Sun, 29 Jan 2023 22:58:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 16:22:24.526655
- Title: Uncovering Adversarial Risks of Test-Time Adaptation
- Title(参考訳): テスト時間適応の敵意的リスクを明らかにする
- Authors: Tong Wu, Feiran Jia, Xiangyu Qi, Jiachen T. Wang, Vikash Sehwag, Saeed
Mahloujifar, Prateek Mittal
- Abstract要約: テスト時間適応(TTA)は、分散シフトに対処するための有望な解決策として提案されている。
我々は、良性サンプルの予測が同一バッチ内の悪意のあるサンプルに影響される可能性があるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。
テストバッチに少数の悪意のあるデータを注入する分散侵入攻撃(DIA)を提案する。
- 参考スコア(独自算出の注目度): 41.19226800089764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, test-time adaptation (TTA) has been proposed as a promising
solution for addressing distribution shifts. It allows a base model to adapt to
an unforeseen distribution during inference by leveraging the information from
the batch of (unlabeled) test data. However, we uncover a novel security
vulnerability of TTA based on the insight that predictions on benign samples
can be impacted by malicious samples in the same batch. To exploit this
vulnerability, we propose Distribution Invading Attack (DIA), which injects a
small fraction of malicious data into the test batch. DIA causes models using
TTA to misclassify benign and unperturbed test data, providing an entirely new
capability for adversaries that is infeasible in canonical machine learning
pipelines. Through comprehensive evaluations, we demonstrate the high
effectiveness of our attack on multiple benchmarks across six TTA methods. In
response, we investigate two countermeasures to robustify the existing insecure
TTA implementations, following the principle of "security by design". Together,
we hope our findings can make the community aware of the utility-security
tradeoffs in deploying TTA and provide valuable insights for developing robust
TTA approaches.
- Abstract(参考訳): 近年,分布シフトに対処するための有望なソリューションとして,テスト時間適応(tta)が提案されている。
ベースモデルは、(ラベルのない)テストデータのバッチからの情報を活用することで、推論中に予期せぬ分布に適応することができる。
しかし、良性サンプルの予測は、同じバッチ内の悪意のあるサンプルによって影響されるという知見に基づいて、TTAの新たなセキュリティ脆弱性を明らかにする。
この脆弱性を利用するために,テストバッチに悪意のあるデータのごく一部を注入する分散侵入攻撃(dia)を提案する。
DIAは、TTAを使用したモデルに、良性および不飽和なテストデータを誤分類させ、標準的な機械学習パイプラインでは不可能な敵に対して、まったく新しい機能を提供する。
総合的な評価を通じて、6つのTTAメソッドにわたる複数のベンチマークに対する攻撃の有効性を示す。
そこで本研究では,既存の安全でないTTA実装を「設計によるセキュリティ」の原則に従って強化する2つの対策について検討する。
共に、私たちの発見が、TTAのデプロイにおけるユーティリティセキュリティのトレードオフをコミュニティに認識させ、堅牢なTTAアプローチを開発する上で貴重な洞察を提供することを期待しています。
関連論文リスト
- Entropy is not Enough for Test-Time Adaptation: From the Perspective of
Disentangled Factors [36.54076844195179]
テストタイム適応(TTA) 未確認のテストデータのための訓練済みのディープニューラルネットワーク。
本稿では,Destroy Your Object (DeYO) という新しいTTA手法を紹介する。
論文 参考訳(メタデータ) (2024-03-12T07:01:57Z) - SoTTA: Robust Test-Time Adaptation on Noisy Data Streams [9.490557638324084]
テスト時間適応(TTA)は、トレーニングとテストデータの分散シフトに対処することを目的としている。
ほとんどのTTAメソッドは良質なテストストリームを仮定するが、テストサンプルは野生では意外に多様である可能性がある。
ノイズの多いサンプルに対して頑健な新しいTTAアルゴリズムであるScreening-out Test-Time Adaptation (SoTTA)を提案する。
論文 参考訳(メタデータ) (2023-10-16T05:15:35Z) - Diverse Data Augmentation with Diffusions for Effective Test-time Prompt
Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。
DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文 参考訳(メタデータ) (2023-08-11T09:36:31Z) - Test-Time Adaptation with Perturbation Consistency Learning [32.58879780726279]
そこで本研究では, 分布変化のあるサンプルに対して, 安定な予測を行うための簡易なテスト時間適応手法を提案する。
提案手法は,強力なPLMバックボーンよりも推論時間が少なく,高い,あるいは同等の性能を実現することができる。
論文 参考訳(メタデータ) (2023-04-25T12:29:22Z) - Towards Stable Test-Time Adaptation in Dynamic Wild World [60.98073673220025]
テスト時間適応(TTA)は、与えられたモデルをテストサンプルに適応させることで、トレーニングとテストデータの分散シフトに取り組むのに有効であることが示されている。
TTAのオンラインモデル更新は不安定であり、これはしばしば既存のTTAメソッドが現実世界にデプロイされるのを防ぐ重要な障害である。
論文 参考訳(メタデータ) (2023-02-24T02:03:41Z) - Robust Question Answering against Distribution Shifts with Test-Time
Adaptation: An Empirical Study [24.34217596145152]
テストデータがトレーニングデータと比較して分布シフトがある場合、デプロイされた質問応答(QA)モデルは容易に失敗する。
デプロイ後のモデルを改善するために,テスト時間適応(TTA)を評価した。
また,オンライン模倣学習(OIL)と呼ばれる新しいTTA手法を提案する。
論文 参考訳(メタデータ) (2023-02-09T13:10:53Z) - Robust Continual Test-time Adaptation: Instance-aware BN and
Prediction-balanced Memory [58.72445309519892]
テストデータストリーム以外のデータストリームに対して堅牢な新しいテスト時間適応方式を提案する。
a)分布外サンプルの正規化を修正するIABN(Instance-Aware Batch Normalization)と、(b)クラスバランスのない方法で非i.d.ストリームからのデータストリームをシミュレートするPBRS(Predict- Balanced Reservoir Sampling)である。
論文 参考訳(メタデータ) (2022-08-10T03:05:46Z) - Efficient Test-Time Model Adaptation without Forgetting [60.36499845014649]
テストタイム適応は、トレーニングとテストデータの間の潜在的な分散シフトに取り組むことを目指している。
信頼性および非冗長なサンプルを同定するためのアクティブなサンプル選択基準を提案する。
また、重要なモデルパラメータを劇的な変化から制約するFisher regularizerを導入します。
論文 参考訳(メタデータ) (2022-04-06T06:39:40Z) - Adversarial Attacks and Defense for Non-Parametric Two-Sample Tests [73.32304304788838]
本稿では,非パラメトリックTSTの障害モードを逆攻撃により系統的に明らかにする。
TST非依存的な攻撃を可能にするために,異なる種類のテスト基準を協調的に最小化するアンサンブル攻撃フレームワークを提案する。
そこで本研究では,TSTの強化のために,逆対を反復的に生成し,深層カーネルを訓練する最大最小最適化を提案する。
論文 参考訳(メタデータ) (2022-02-07T11:18:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。