論文の概要: Derivation of Information-Theoretically Optimal Adversarial Attacks with
Applications to Robust Machine Learning
- arxiv url: http://arxiv.org/abs/2007.14042v1
- Date: Tue, 28 Jul 2020 07:45:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-06 01:52:58.140782
- Title: Derivation of Information-Theoretically Optimal Adversarial Attacks with
Applications to Robust Machine Learning
- Title（参考訳）: 情報理論上最適な対向攻撃の導出とロバスト機械学習への応用
- Authors: Jirong Yi, Raghu Mudumbai, Weiyu Xu
- Abstract要約: 決定システムに対する最適な敵攻撃を設計する理論的問題を考察する。
興味の離散的かつ連続的な信号に対する最適な敵攻撃の導出について述べる。
入力信号の重複コピーが複数用意されている場合、相互情報の最小化のために敵攻撃を行うのは非常に困難であることを示す。
- 参考スコア（独自算出の注目度）: 11.206758778146288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the theoretical problem of designing an optimal adversarial
attack on a decision system that maximally degrades the achievable performance
of the system as measured by the mutual information between the degraded signal
and the label of interest. This problem is motivated by the existence of
adversarial examples for machine learning classifiers. By adopting an
information theoretic perspective, we seek to identify conditions under which
adversarial vulnerability is unavoidable i.e. even optimally designed
classifiers will be vulnerable to small adversarial perturbations. We present
derivations of the optimal adversarial attacks for discrete and continuous
signals of interest, i.e., finding the optimal perturbation distributions to
minimize the mutual information between the degraded signal and a signal
following a continuous or discrete distribution. In addition, we show that it
is much harder to achieve adversarial attacks for minimizing mutual information
when multiple redundant copies of the input signal are available. This provides
additional support to the recently proposed ``feature compression" hypothesis
as an explanation for the adversarial vulnerability of deep learning
classifiers. We also report on results from computational experiments to
illustrate our theoretical results.
- Abstract（参考訳）: 我々は,劣化信号と関心ラベルの相互情報を用いて,システムの達成可能な性能を最大に低下させる決定システムに対する最適な敵意攻撃を設計する理論的問題を考える。
この問題は、機械学習分類器の逆例の存在が動機である。
情報理論的な視点を採用することで,敵の脆弱性が避けられない条件,すなわち最適に設計された分類器でさえ,小さな敵の摂動に対して脆弱な条件を特定することを目指す。
本稿では、離散的かつ連続的な信号に対する最適対向攻撃の導出、すなわち、劣化信号と連続的あるいは離散的な分布に続く信号との相互情報を最小化する最適な摂動分布を求める。
さらに,入力信号の重複コピーが複数用意されている場合,相互情報の最小化のための敵攻撃がはるかに困難であることを示す。
このことは、ディープラーニング分類器の敵対的脆弱性の説明として最近提案された 'feature compression' 仮説へのさらなるサポートを提供する。
また,計算実験の結果について報告し,理論的な結果について述べる。
関連論文リスト
- Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning [49.417414031031264]
本稿では,自己教師型学習環境におけるフェアエンコーダの学習について検討する。
すべてのデータはラベル付けされておらず、そのごく一部だけが機密属性で注釈付けされている。
論文 参考訳（メタデータ） (2024-06-09T08:11:12Z) - How adversarial attacks can disrupt seemingly stable accurate classifiers [76.95145661711514]
敵攻撃は、入力データに不連続な修正を加えることで、非正確な学習システムの出力を劇的に変化させる。
ここでは,これは高次元入力データを扱う分類器の基本的特徴であると考えられる。
実用システムで観測される重要な振る舞いを高い確率で発生させる、単純で汎用的なフレームワークを導入する。
論文 参考訳（メタデータ） (2023-09-07T12:02:00Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳（メタデータ） (2023-03-24T16:03:21Z) - Robust Transferable Feature Extractors: Learning to Defend Pre-Trained
Networks Against White Box Adversaries [69.53730499849023]
また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。
本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
論文 参考訳（メタデータ） (2022-09-14T21:09:34Z) - Generalizable Information Theoretic Causal Representation [37.54158138447033]
本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。
この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
論文 参考訳（メタデータ） (2022-02-17T00:38:35Z) - Information Obfuscation of Graph Neural Networks [96.8421624921384]
本稿では,グラフ構造化データを用いた学習において,情報難読化による機密属性保護の問題について検討する。
本稿では,全変動量とワッサーシュタイン距離を交互に学習することで,事前決定された機密属性を局所的にフィルタリングするフレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-28T17:55:04Z) - Robust Machine Learning via Privacy/Rate-Distortion Theory [34.28921458311185]
ロバストな機械学習の定式化は、敵対的な例に対するディープニューラルネットワークの一般的な脆弱性に対処するために現れている。
我々の研究は、最適ロバスト学習とプライバシ・ユーティリティ・トレードオフ問題との関連性を引き合いに出し、これは率歪み問題の一般化である。
この情報理論的な観点は、堅牢性とクリーンなデータパフォーマンスの基本的なトレードオフに光を当てています。
論文 参考訳（メタデータ） (2020-07-22T21:34:59Z) - Adversarial Self-Supervised Contrastive Learning [62.17538130778111]
既存の対数学習アプローチは、主にクラスラベルを使用して、誤った予測につながる対数サンプルを生成する。
本稿では,未ラベルデータに対する新たな逆攻撃を提案する。これにより,モデルが摂動データサンプルのインスタンスレベルのアイデンティティを混乱させる。
ラベル付きデータなしで頑健なニューラルネットワークを逆さまにトレーニングするための,自己教師付きコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-13T08:24:33Z) - Learning Adversarially Robust Representations via Worst-Case Mutual
Information Maximization [15.087280646796527]
敵の入力に対して堅牢な機械学習モデルを訓練することは、一見不可能な課題である。
我々は,入力分布と出力分布の相互情報の最大変化をキャプチャする表現脆弱性の概念を開発する。
最悪ケースの相互情報を最大化することにより,本質的に堅牢な表現を得るための教師なし学習手法を提案する。
論文 参考訳（メタデータ） (2020-02-26T21:20:40Z) - Guess First to Enable Better Compression and Adversarial Robustness [5.579029325265822]
本稿では,モデル推論をラベル仮説で条件付けしたバイオインスパイアされた分類フレームワークを提案する。
このフレームワークのためのトレーニング目標のクラスと、情報ボトルネックレギュレータを提供する。
ラベル情報の圧縮と除去により、自然な精度を損なうことなく、敵の堅牢性がさらに向上する。
論文 参考訳（メタデータ） (2020-01-10T05:12:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。