論文の概要: Calibration Attack: A Framework For Adversarial Attacks Targeting
Calibration
- arxiv url: http://arxiv.org/abs/2401.02718v1
- Date: Fri, 5 Jan 2024 09:21:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 15:30:55.147550
- Title: Calibration Attack: A Framework For Adversarial Attacks Targeting
Calibration
- Title(参考訳): キャリブレーション攻撃: キャリブレーションを狙う敵攻撃のためのフレームワーク
- Authors: Stephen Obadinma, Xiaodan Zhu, Hongyu Guo
- Abstract要約: そこで我々は,攻撃が生成され,元の精度を変えることなく,被害者モデルの誤判定を阻止するために組織化される,キャリブレーション・アタックと呼ばれる新たな敵攻撃の枠組みを導入する。
我々は、不信攻撃、過信攻撃、最大誤校正攻撃、無作為信頼攻撃の4つの新しいタイプのキャリブレーション攻撃を特定した。
次に、これらの新たな攻撃を、包括的なデータセットを持つ典型的な犠牲者モデルに対してテストし、比較的少ないクエリであっても、攻撃が重大なキャリブレーションミスを引き起こすことを実証した。
- 参考スコア(独自算出の注目度): 39.136552359010366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a new framework of adversarial attacks, named calibration
attacks, in which the attacks are generated and organized to trap victim models
to be miscalibrated without altering their original accuracy, hence seriously
endangering the trustworthiness of the models and any decision-making based on
their confidence scores. Specifically, we identify four novel forms of
calibration attacks: underconfidence attacks, overconfidence attacks, maximum
miscalibration attacks, and random confidence attacks, in both the black-box
and white-box setups. We then test these new attacks on typical victim models
with comprehensive datasets, demonstrating that even with a relatively low
number of queries, the attacks can create significant calibration mistakes. We
further provide detailed analyses to understand different aspects of
calibration attacks. Building on that, we investigate the effectiveness of
widely used adversarial defences and calibration methods against these types of
attacks, which then inspires us to devise two novel defences against such
calibration attacks.
- Abstract(参考訳): そこで我々は,攻撃を発生・組織化して,元の精度を変えることなく,被害者モデルの誤判定を防止し,モデルの信頼性と意思決定の信頼性を著しく損なうような,新たな敵攻撃の枠組みを導入する。
具体的には,ブラックボックスとホワイトボックスのいずれにおいても,自信不足攻撃,自信過剰攻撃,最大不均衡攻撃,ランダム信頼攻撃という4つの新しい形態のキャリブレーション攻撃を識別する。
次に、これらの新しい攻撃を一般的な被害者モデルに対して包括的なデータセットでテストし、比較的少ないクエリでも、攻撃が重大な校正ミスを引き起こすことを証明します。
さらに,キャリブレーション攻撃のさまざまな側面を理解するための詳細な分析を行う。
そこで本研究では,このような攻撃に対して広く使用される敵防御とキャリブレーション手法の有効性について検討し,キャリブレーション攻撃に対する2つの新しい防御方法を考案する。
関連論文リスト
- Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。
我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。
検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文 参考訳(メタデータ) (2024-11-21T17:46:55Z) - Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization [36.13844441263675]
我々は、より脅迫的なタイプの毒殺攻撃(Dederred Poisoning Attack)を導入する。
この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。
提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。
論文 参考訳(メタデータ) (2024-11-06T08:27:49Z) - From Attack to Defense: Insights into Deep Learning Security Measures in Black-Box Settings [1.8006345220416338]
敵のサンプルは深刻な脅威となり、モデルがそのようなアプリケーションの性能を誤解し、損なう可能性がある。
ディープラーニングモデルの堅牢性に対処することは、敵の攻撃を理解し防御するために重要になっている。
我々の研究は、SimBA、HopSkipJump、MGAAttack、境界攻撃などのブラックボックス攻撃、およびプリプロセッサベースの防御機構に焦点を当てている。
論文 参考訳(メタデータ) (2024-05-03T09:40:47Z) - RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks [20.55681622921858]
モデル中毒は、フェデレートラーニング(FL)の適用を著しく阻害する
本研究では,モデル中毒に対するRECESSという新しいプロアクティブ・ディフェンスを提案する。
各イテレーションをスコアする従来の方法とは異なり、RECESSはクライアントのパフォーマンス相関を複数のイテレーションで考慮し、信頼スコアを見積もる。
論文 参考訳(メタデータ) (2023-10-09T06:09:01Z) - Stealthy Backdoor Attack via Confidence-driven Sampling [49.72680157684523]
バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。
既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。
信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
論文 参考訳(メタデータ) (2023-10-08T18:57:36Z) - Pick your Poison: Undetectability versus Robustness in Data Poisoning
Attacks [33.82164201455115]
大量のWebスクラッドデータに基づいてトレーニングされた深層画像分類モデルは、データ中毒の影響を受けやすい。
既存の作業は、効果的な防御を、(i)修理によってモデルの整合性を回復するか、(ii)攻撃を検出するものと見なしている。
我々は、このアプローチが重要なトレードオフを見落としていると論じている。攻撃者は、検知可能性(過剰投下)を犠牲にして増加したり、ロバスト性(過密投下)を犠牲にして検出可能性を減らすことができる。
論文 参考訳(メタデータ) (2023-05-07T15:58:06Z) - Targeted Attacks on Timeseries Forecasting [0.6719751155411076]
本稿では,時系列予測モデルに対する指向性,振幅性,時間的標的攻撃の新たな定式化を提案する。
これらの攻撃は、出力予測の振幅と方向に特定の影響を与える。
実験結果から,時系列モデルに対する標的攻撃が有効であり,統計的類似性の観点からもより強力であることが示唆された。
論文 参考訳(メタデータ) (2023-01-27T06:09:42Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。
敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。
実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
論文 参考訳(メタデータ) (2021-05-18T17:48:15Z) - Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。
感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
論文 参考訳(メタデータ) (2020-04-14T16:51:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。