論文の概要: Calibration Attacks: A Comprehensive Study of Adversarial Attacks on Model Confidence

• arxiv url: http://arxiv.org/abs/2401.02718v3
• Date: Fri, 29 Nov 2024 23:52:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-03 16:55:12.744652
• Title: Calibration Attacks: A Comprehensive Study of Adversarial Attacks on Model Confidence
• Title（参考訳）: 校正攻撃 : モデル信頼度に対する敵攻撃の包括的研究
• Authors: Stephen Obadinma, Xiaodan Zhu, Hongyu Guo,
• Abstract要約: キャリブレーション・アタックは 予測されたラベルを変更することなく 被害者のモデルを 非常に誤解させる キャリブレーション攻撃の典型的な4つの形態として、不信、過信、最大誤校正、無作為不信攻撃を提案する。 この攻撃は、畳み込みモデルと注目モデルの両方において非常に効果的であることを示す。
• 参考スコア（独自算出の注目度）: 34.8221014692138
• License:
• Abstract: In this work, we highlight and perform a comprehensive study on calibration attacks, a form of adversarial attacks that aim to trap victim models to be heavily miscalibrated without altering their predicted labels, hence endangering the trustworthiness of the models and follow-up decision making based on their confidence. We propose four typical forms of calibration attacks: underconfidence, overconfidence, maximum miscalibration, and random confidence attacks, conducted in both black-box and white-box setups. We demonstrate that the attacks are highly effective on both convolutional and attention-based models: with a small number of queries, they seriously skew confidence without changing the predictive performance. Given the potential danger, we further investigate the effectiveness of a wide range of adversarial defence and recalibration methods, including our proposed defences specifically designed for calibration attacks to mitigate the harm. From the ECE and KS scores, we observe that there are still significant limitations in handling calibration attacks. To the best of our knowledge, this is the first dedicated study that provides a comprehensive investigation on calibration-focused attacks. We hope this study helps attract more attention to these types of attacks and hence hamper their potential serious damages. To this end, this work also provides detailed analyses to understand the characteristics of the attacks. Our code is available at https://github.com/PhenetOs/CalibrationAttack
• Abstract（参考訳）: 本研究は, 予測ラベルを変更することなく, 被害者モデルに過度に誤判定を加えることを目的とした攻撃形態であるキャリブレーション・アタック(キャリブレーション・アタック)について, 包括的に検討し, 実施する。 そこで我々は,ブラックボックスとホワイトボックスの両方で実施される,信頼度,過信度,最大誤校正,ランダムな信頼度攻撃の4種類のキャリブレーション攻撃を提案する。 この攻撃は畳み込みモデルと注目モデルの両方で非常に効果的であることが実証された。 本研究は, 危険リスクを考慮し, 被害を軽減するための校正攻撃に特化して設計された防衛を含む, 幅広い敵防衛・再校正手法の有効性について検討する。 ECE と KS のスコアから,キャリブレーション攻撃にはまだ大きな制限があることが明らかとなった。 われわれの知る限りでは、この研究は校正に焦点を絞った攻撃に関する総合的な調査を提供する最初の研究である。 この研究がこの種の攻撃により多くの注意を惹きつけるのに役立つことを願っています。 この目的のために、この研究は攻撃の特性を理解するための詳細な分析も提供する。 私たちのコードはhttps://github.com/PhenetOs/CalibrationAttackで利用可能です。

関連論文リスト

• Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
  敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。 我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。 検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
  論文  参考訳（メタデータ） (2024-11-21T17:46:55Z)
• Deferred Poisoning: Making the Model More Vulnerable via Hessian Singularization [36.13844441263675]
  我々は、より脅迫的なタイプの毒殺攻撃(Dederred Poisoning Attack)を導入する。 この新たな攻撃により、モデルは通常、トレーニングと検証フェーズで機能するが、回避攻撃や自然騒音に非常に敏感になる。 提案手法の理論的および実証的な解析を行い、画像分類タスクの実験を通してその効果を検証した。
  論文  参考訳（メタデータ） (2024-11-06T08:27:49Z)
• From Attack to Defense: Insights into Deep Learning Security Measures in Black-Box Settings [1.8006345220416338]
  敵のサンプルは深刻な脅威となり、モデルがそのようなアプリケーションの性能を誤解し、損なう可能性がある。 ディープラーニングモデルの堅牢性に対処することは、敵の攻撃を理解し防御するために重要になっている。 我々の研究は、SimBA、HopSkipJump、MGAAttack、境界攻撃などのブラックボックス攻撃、およびプリプロセッサベースの防御機構に焦点を当てている。
  論文  参考訳（メタデータ） (2024-05-03T09:40:47Z)
• RECESS Vaccine for Federated Learning: Proactive Defense Against Model Poisoning Attacks [20.55681622921858]
  モデル中毒は、フェデレートラーニング(FL)の適用を著しく阻害する 本研究では,モデル中毒に対するRECESSという新しいプロアクティブ・ディフェンスを提案する。 各イテレーションをスコアする従来の方法とは異なり、RECESSはクライアントのパフォーマンス相関を複数のイテレーションで考慮し、信頼スコアを見積もる。
  論文  参考訳（メタデータ） (2023-10-09T06:09:01Z)
• Stealthy Backdoor Attack via Confidence-driven Sampling [49.72680157684523]
  バックドア攻撃は、悪質なトリガをDNNモデルに過剰に挿入することを目的としており、テストシナリオ中に不正な制御を許可している。 既存の方法では防衛戦略に対する堅牢性が欠如しており、主に無作為な試薬を無作為に選別しながら、引き金の盗難を強化することに重点を置いている。 信頼性スコアの低いサンプルを選別し、これらの攻撃を識別・対処する上で、守備側の課題を著しく増大させる。
  論文  参考訳（メタデータ） (2023-10-08T18:57:36Z)
• Pick your Poison: Undetectability versus Robustness in Data Poisoning Attacks [33.82164201455115]
  大量のWebスクラッドデータに基づいてトレーニングされた深層画像分類モデルは、データ中毒の影響を受けやすい。 既存の作業は、効果的な防御を、(i)修理によってモデルの整合性を回復するか、(ii)攻撃を検出するものと見なしている。 我々は、このアプローチが重要なトレードオフを見落としていると論じている。攻撃者は、検知可能性(過剰投下)を犠牲にして増加したり、ロバスト性(過密投下)を犠牲にして検出可能性を減らすことができる。
  論文  参考訳（メタデータ） (2023-05-07T15:58:06Z)
• Targeted Attacks on Timeseries Forecasting [0.6719751155411076]
  本稿では,時系列予測モデルに対する指向性,振幅性,時間的標的攻撃の新たな定式化を提案する。 これらの攻撃は、出力予測の振幅と方向に特定の影響を与える。 実験結果から,時系列モデルに対する標的攻撃が有効であり,統計的類似性の観点からもより強力であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-27T06:09:42Z)
• Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
  CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。 任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。 本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
  論文  参考訳（メタデータ） (2021-05-31T17:01:05Z)
• Learning and Certification under Instance-targeted Poisoning [49.55596073963654]
  インスタンスターゲット中毒攻撃におけるPAC学習性と認証について検討する。 敵の予算がサンプルの複雑さに比例してスケールすると、PACの学習性と認定が達成可能であることを示す。 実データセット上でのK近傍, ロジスティック回帰, 多層パーセプトロン, 畳み込みニューラルネットワークの堅牢性を実証的に検討する。
  論文  参考訳（メタデータ） (2021-05-18T17:48:15Z)
• Weight Poisoning Attacks on Pre-trained Models [103.19413805873585]
  本研究は, バックドアを微調整した後に, バックドアを露出する脆弱性を伴って, 事前訓練した重量を注入した場合に, 重量中毒を発生させることが可能であることを示す。 感情分類,毒性検出,スパム検出に関する実験により,この攻撃は広く適用可能であり,深刻な脅威となることが示された。
  論文  参考訳（メタデータ） (2020-04-14T16:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。