論文の概要: Adversarial Attacks Against Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2309.10586v1
- Date: Tue, 19 Sep 2023 12:54:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 14:32:49.247428
- Title: Adversarial Attacks Against Uncertainty Quantification
- Title（参考訳）: 不確実性定量化に対する敵対的攻撃
- Authors: Emanuele Ledda, Daniele Angioni, Giorgio Piras, Giorgio Fumera,
Battista Biggio and Fabio Roli
- Abstract要約: この研究は、攻撃者が依然として不確実性推定を操作することに興味を持つ異なる敵シナリオに焦点を当てる。
特に、アウトプットが下流モジュールや人間のオペレータによって消費される場合、機械学習モデルの使用を損なうことが目標である。
- 参考スコア（独自算出の注目度）: 10.655660123083607
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine-learning models can be fooled by adversarial examples, i.e.,
carefully-crafted input perturbations that force models to output wrong
predictions. While uncertainty quantification has been recently proposed to
detect adversarial inputs, under the assumption that such attacks exhibit a
higher prediction uncertainty than pristine data, it has been shown that
adaptive attacks specifically aimed at reducing also the uncertainty estimate
can easily bypass this defense mechanism. In this work, we focus on a different
adversarial scenario in which the attacker is still interested in manipulating
the uncertainty estimate, but regardless of the correctness of the prediction;
in particular, the goal is to undermine the use of machine-learning models when
their outputs are consumed by a downstream module or by a human operator.
Following such direction, we: \textit{(i)} design a threat model for attacks
targeting uncertainty quantification; \textit{(ii)} devise different attack
strategies on conceptually different UQ techniques spanning for both
classification and semantic segmentation problems; \textit{(iii)} conduct a
first complete and extensive analysis to compare the differences between some
of the most employed UQ approaches under attack. Our extensive experimental
analysis shows that our attacks are more effective in manipulating uncertainty
quantification measures than attacks aimed to also induce misclassifications.
- Abstract（参考訳）: 機械学習モデルは、逆例、すなわち、モデルに間違った予測を出力させる、慎重に構築された入力摂動によって騙される。
近年、敵の入力を検出するために不確実性定量化が提案されているが、これらの攻撃がプリスタンデータよりも高い予測不確実性を示すという仮定の下で、不確実性推定を減らそうとする適応攻撃は、この防御機構を簡単に回避できることが示されている。
本研究では,攻撃者がいまだに不確実性推定を操作することに関心がある異なるシナリオに焦点を当てるが,予測の正確性に関わらず,特に,下流モジュールや人間の操作者によって出力が消費される場合,機械学習モデルの使用を損なうことが目的である。
そのような方向に従うと、次のようになる。
i) 不確実性定量化を狙った攻撃に対する脅威モデルの設計; \textit{
(ii) 分類とセマンティックセグメンテーションの問題にまたがる概念的に異なるUQ技術に対する異なる攻撃戦略を考案する。
(3)) 攻撃対象のUQアプローチのいくつかの違いを比較するために、最初の完全かつ広範囲な分析を行う。
広範な実験分析の結果,不確実性定量化対策は,誤分類を誘発する攻撃よりも効果的であることが判明した。
関連論文リスト
- Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。
我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。
検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文 参考訳（メタデータ） (2024-11-21T17:46:55Z) - Machine Translation Models Stand Strong in the Face of Adversarial
Attacks [2.6862667248315386]
本研究は,シークエンス・ツー・シークエンス(seq2seq)モデル,特に機械翻訳モデルに対する敵攻撃の影響に焦点を当てた。
我々は、基本的なテキスト摂動と、勾配に基づく攻撃のようなより高度な戦略を取り入れたアルゴリズムを導入する。
論文 参考訳（メタデータ） (2023-09-10T11:22:59Z) - The Adversarial Implications of Variable-Time Inference [47.44631666803983]
本稿では,攻撃対象のMLモデルの予測を後処理するアルゴリズムの実行時間を簡単に計測する,新たなサイドチャネルを利用するアプローチを提案する。
我々は,物体検出装置の動作において重要な役割を果たす非最大抑圧(NMS)アルゴリズムからの漏れを調査する。
我々は、YOLOv3検出器に対する攻撃を実演し、タイミングリークを利用して、逆例を用いてオブジェクト検出を回避し、データセット推論を行う。
論文 参考訳（メタデータ） (2023-09-05T11:53:17Z) - Consistent Valid Physically-Realizable Adversarial Attack against
Crowd-flow Prediction Models [4.286570387250455]
ディープラーニング(DL)モデルは、都市全体のクラウドフローパターンを効果的に学習することができる。
DLモデルは、目立たない逆境の摂動に対して不利に作用することが知られている。
論文 参考訳（メタデータ） (2023-03-05T13:30:25Z) - Selecting Models based on the Risk of Damage Caused by Adversarial
Attacks [2.969705152497174]
規制、法的責任、社会的懸念は、安全およびセキュリティクリティカルなアプリケーションにおけるAIの採用に挑戦する。
重要な懸念の1つは、敵が検出されずにモデル予測を操作することで害を引き起こす可能性があることである。
本稿では,敵攻撃による被害の確率をモデル化し,統計的に推定する手法を提案する。
論文 参考訳（メタデータ） (2023-01-28T10:24:38Z) - Balancing detectability and performance of attacks on the control
channel of Markov Decision Processes [77.66954176188426]
マルコフ決定過程(MDPs)の制御チャネルにおける最適ステルス毒素攻撃の設計問題について検討する。
この研究は、MDPに適用された敵国・毒殺攻撃や強化学習(RL)手法に対する研究コミュニティの最近の関心に動機づけられている。
論文 参考訳（メタデータ） (2021-09-15T09:13:10Z) - Localized Uncertainty Attacks [9.36341602283533]
深層学習モデルに対する局所的不確実性攻撃を示す。
我々は、分類器が不確実な入力の領域のみを摂動することで、逆例を作成する。
$ell_p$ ballやパーターブ入力を無差別に検出する機能攻撃とは異なり、ターゲットとする変更は認識できない。
論文 参考訳（メタデータ） (2021-06-17T03:07:22Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳（メタデータ） (2020-11-24T19:52:38Z) - Adversarial Attack and Defense of Structured Prediction Models [58.49290114755019]
本論文では,NLPにおける構造化予測タスクに対する攻撃と防御について検討する。
構造化予測モデルの構造化出力は、入力中の小さな摂動に敏感である。
本稿では,シーケンス・ツー・シーケンス・モデルを用いて,構造化予測モデルへの攻撃を学習する,新規で統一的なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-10-04T15:54:03Z) - Fundamental Tradeoffs between Invariance and Sensitivity to Adversarial
Perturbations [65.05561023880351]
敵の例は誤分類を引き起こすために作られた悪意のある入力である。
本稿では, 相補的障害モード, 不変性に基づく逆数例について検討する。
感度に基づく攻撃に対する防御は、不変性に基づく攻撃に対するモデルの精度を積極的に損なうことを示す。
論文 参考訳（メタデータ） (2020-02-11T18:50:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。