論文の概要: On the Robustness of Adversarial Training Against Uncertainty Attacks

• arxiv url: http://arxiv.org/abs/2410.21952v1
• Date: Tue, 29 Oct 2024 11:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:51.687020
• Title: On the Robustness of Adversarial Training Against Uncertainty Attacks
• Title（参考訳）: 不確実性攻撃に対する対人訓練のロバスト性について
• Authors: Emanuele Ledda, Giovanni Scodeller, Daniele Angioni, Giorgio Piras, Antonio Emanuele Cinà, Giorgio Fumera, Battista Biggio, Fabio Roli,
• Abstract要約: 学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。 本研究は、敵の例、すなわち、誤分類を引き起こす注意深く摂動されたサンプルに対する防御が、より安全で信頼性の高い不確実性推定を保証していることを実証的および理論的に明らかにする。 我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。
• 参考スコア（独自算出の注目度）: 9.180552487186485
• License:
• Abstract: In learning problems, the noise inherent to the task at hand hinders the possibility to infer without a certain degree of uncertainty. Quantifying this uncertainty, regardless of its wide use, assumes high relevance for security-sensitive applications. Within these scenarios, it becomes fundamental to guarantee good (i.e., trustworthy) uncertainty measures, which downstream modules can securely employ to drive the final decision-making process. However, an attacker may be interested in forcing the system to produce either (i) highly uncertain outputs jeopardizing the system's availability or (ii) low uncertainty estimates, making the system accept uncertain samples that would instead require a careful inspection (e.g., human intervention). Therefore, it becomes fundamental to understand how to obtain robust uncertainty estimates against these kinds of attacks. In this work, we reveal both empirically and theoretically that defending against adversarial examples, i.e., carefully perturbed samples that cause misclassification, additionally guarantees a more secure, trustworthy uncertainty estimate under common attack scenarios without the need for an ad-hoc defense strategy. To support our claims, we evaluate multiple adversarial-robust models from the publicly available benchmark RobustBench on the CIFAR-10 and ImageNet datasets.
• Abstract（参考訳）: 学習問題において、手元のタスクに固有のノイズは、ある程度の不確実性なく推論する可能性を妨げている。 この不確実性の定量化は、広く使われているにも拘わらず、セキュリティに敏感なアプリケーションに高い関連性を前提としている。 これらのシナリオの中では、下流のモジュールが最終決定プロセスを進めるために安全に使用できる優れた(信頼に値する)不確実性対策を保証することが基本となる。 しかし、攻撃者はシステムに生成を強制することに関心があるかもしれない。 (i)システムの可用性を損なう極めて不確実な出力 (i)低い不確実性推定を行い、システムは、注意深い検査を必要とする不確実なサンプル(例えば、人間の介入)を受け入れる。 したがって、このような攻撃に対して頑健な不確実性を推定する方法を理解することが基本となる。 本研究は,敵対的事例に対する防御,すなわち,誤分類の原因となる標本を慎重に摂食し,また,攻撃シナリオ下でのより安全で信頼性の高い不確実性評価を,アドホックな防衛戦略を必要とせずに保証する,という実証的および理論的両面を明らかにした。 我々は,CIFAR-10およびImageNetデータセット上で,公開ベンチマークのRobustBenchから,複数の逆ロバストモデルを評価する。

関連論文リスト

• Integrating uncertainty quantification into randomized smoothing based robustness guarantees [18.572496359670797]
  ディープニューラルネットワークは、安全クリティカルなアプリケーションにおいて有害な誤った予測を引き起こす可能性のある敵攻撃に対して脆弱である。 ランダムな滑らか化による認証されたロバスト性は、スムーズ化された分類器の予測が与えられた入力の周りの$ell$-ball内では変化しないという確率的保証を与える。 不確実性に基づく拒絶は、しばしば敵の攻撃からモデルを守るために実践的に適用される技法である。 新たなフレームワークは,ネットワークアーキテクチャや不確実性評価の体系的な評価を可能にすることを実証する。
  論文  参考訳（メタデータ） (2024-10-27T13:07:43Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Breach By A Thousand Leaks: Unsafe Information Leakage in `Safe' AI Responses [42.136793654338106]
  モデル出力の不可避な情報漏洩に基づく新しい安全性評価フレームワークを提案する。 我々は,情報検閲の安全性を確保するために,防衛機構が情報検閲を確実にする必要があることを示す。
  論文  参考訳（メタデータ） (2024-07-02T16:19:25Z)
• Safety Margins for Reinforcement Learning [53.10194953873209]
  安全マージンを生成するためにプロキシ臨界度メトリクスをどのように活用するかを示す。 Atari 環境での APE-X と A3C からの学習方針に対するアプローチを評価する。
  論文  参考訳（メタデータ） (2023-07-25T16:49:54Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks [11.929914721626849]
  我々は,現在最先端の不確実性推定アルゴリズムが,我々の提案した敵攻撃の下で破滅的に失敗する可能性を示唆した。 特に、領域外不確実性推定を攻撃することを目的としている。
  論文  参考訳（メタデータ） (2022-10-03T23:33:38Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• A Comparison of Uncertainty Estimation Approaches in Deep Learning Components for Autonomous Vehicle Applications [0.0]
  自律走行車(AV)の安全性を確保する主要な要因は、望ましくない、予測できない状況下での異常な行動を避けることである。 データやモデルにおける不確実性の定量化のための様々な手法が近年提案されている。 これらの手法では、高い計算負荷、高いメモリフットプリント、余分なレイテンシが要求され、安全クリティカルなアプリケーションでは禁止される。
  論文  参考訳（メタデータ） (2020-06-26T18:55:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。