論文の概要: Optimizing Information Loss Towards Robust Neural Networks

• arxiv url: http://arxiv.org/abs/2008.03072v2
• Date: Tue, 29 Sep 2020 14:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 01:02:36.139070
• Title: Optimizing Information Loss Towards Robust Neural Networks
• Title（参考訳）: ロバストニューラルネットワークへの情報損失の最適化
• Authors: Philip Sperl and Konstantin B\"ottinger
• Abstract要約: ニューラルネットワーク(NN)は、敵の例に対して脆弱である。 テクステントロピックリトレーニングと呼ばれる新しいトレーニング手法を提案する。 情報理論にインスパイアされた分析に基づいて、エントロピー的リトレーニングは敵の訓練の効果を模倣する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Networks (NNs) are vulnerable to adversarial examples. Such inputs differ only slightly from their benign counterparts yet provoke misclassifications of the attacked NNs. The required perturbations to craft the examples are often negligible and even human imperceptible. To protect deep learning-based systems from such attacks, several countermeasures have been proposed with adversarial training still being considered the most effective. Here, NNs are iteratively retrained using adversarial examples forming a computational expensive and time consuming process often leading to a performance decrease. To overcome the downsides of adversarial training while still providing a high level of security, we present a new training approach we call \textit{entropic retraining}. Based on an information-theoretic-inspired analysis, entropic retraining mimics the effects of adversarial training without the need of the laborious generation of adversarial examples. We empirically show that entropic retraining leads to a significant increase in NNs' security and robustness while only relying on the given original data. With our prototype implementation we validate and show the effectiveness of our approach for various NN architectures and data sets.
• Abstract（参考訳）: ニューラルネットワーク(NN)は敵の例に弱い。 このような入力は、攻撃されたnnの誤分類を引き起こすものの、良質な入力とわずかに異なる。 例を作るために必要な摂動は、しばしば無視可能であり、人間さえも受け入れがたい。 このような攻撃から深層学習システムを保護するため、対戦訓練が最も効果的と考えられるいくつかの対策が提案されている。 ここでnnは、計算コストと時間消費プロセスを形成する逆の例を使って反復的に再訓練され、しばしば性能が低下する。 高いレベルのセキュリティを提供しながら、敵対的トレーニングのマイナス面を克服するために、我々は \textit{entropic retraining}と呼ばれる新しいトレーニングアプローチを提案する。 情報理論にインスパイアされた分析に基づいて、エントロピーリトレーニングは、悪意のある例の煩雑な生成を必要とせずに、敵のトレーニングの効果を模倣する。 我々は経験的に、エントロピーリトレーニングは、与えられた元のデータのみに依存しながら、nnsのセキュリティとロバスト性が大幅に向上することを示している。 プロトタイプ実装では,様々なNNアーキテクチャやデータセットに対するアプローチの有効性を検証する。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing [5.1024659285813785]
  敵の訓練は、このような敵の攻撃に対する最も成功した防御であった。 本稿では,新たな対人訓練手法を提案する。 本手法は,$ell_infty$-norm制約攻撃に対する最先端のロバスト性を実現する。
  論文  参考訳（メタデータ） (2023-03-24T15:41:40Z)
• Adversarial training with informed data selection [53.19381941131439]
  アドリアリトレーニングは、これらの悪意のある攻撃からネットワークを守るための最も効率的なソリューションである。 本研究では,ミニバッチ学習に適用すべきデータ選択戦略を提案する。 シミュレーションの結果,ロバスト性および標準精度に関して良好な妥協が得られることがわかった。
  論文  参考訳（メタデータ） (2023-01-07T12:09:50Z)
• Adversarial Pretraining of Self-Supervised Deep Networks: Past, Present and Future [132.34745793391303]
  本稿では,畳み込みニューラルネットワークと視覚変換器の両方を含む自己教師型深層ネットワークの対角的事前学習について検討する。 対戦相手を入力レベルと特徴レベルのいずれかの事前学習モデルに組み込むには、既存のアプローチは2つのグループに大別される。
  論文  参考訳（メタデータ） (2022-10-23T13:14:06Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Latent Boundary-guided Adversarial Training [61.43040235982727]
  モデルトレーニングに敵の例を注入する最も効果的な戦略は、敵のトレーニングであることが証明されている。 本稿では, LAtent bounDary-guided aDvErsarial tRaining という新たな逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-08T07:40:55Z)
• Generating Adversarial Examples with Graph Neural Networks [26.74003742013481]
  両手法の強みを生かしたグラフニューラルネットワーク(GNN)に基づく新たな攻撃を提案する。 PGDアタック,MI-FGSM,Carini,Wagnerアタックなど,最先端の敵攻撃に勝っていることを示す。 我々は、敵攻撃のより実証的な比較を可能にするために特別に設計された、新しい挑戦的なデータセットを提供する。
  論文  参考訳（メタデータ） (2021-05-30T22:46:41Z)
• Improving adversarial robustness of deep neural networks by using semantic information [17.887586209038968]
  対人訓練は、敵の堅牢性を改善するための主要な方法であり、対人攻撃に対する第一線である。 本稿では,ネットワーク全体から,あるクラスに対応する決定境界に近い領域の重要部分に焦点を移す,対向ロバスト性の問題に対する新たな視点を提供する。 MNISTとCIFAR-10データセットの実験的結果は、この手法がトレーニングデータから非常に小さなデータセットを使用しても、敵の堅牢性を大幅に向上することを示している。
  論文  参考訳（メタデータ） (2020-08-18T10:23:57Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Towards Achieving Adversarial Robustness by Enforcing Feature Consistency Across Bit Planes [51.31334977346847]
  我々は、高ビット平面の情報に基づいて粗い印象を形成するためにネットワークを訓練し、低ビット平面を用いて予測を洗練させる。 異なる量子化画像間で学習した表現に一貫性を付与することにより、ネットワークの対角的ロバスト性が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-04-01T09:31:10Z)
• Heat and Blur: An Effective and Fast Defense Against Adversarial Examples [2.2843885788439797]
  特徴可視化と入力修正を組み合わせた簡易な防御法を提案する。 我々はこれらの熱マップを防衛の基盤として利用し、敵効果は巨大なぼやけによって損なわれる。 また,攻撃と防御の効果をより徹底的かつ記述的に捉えることのできる,新たな評価指標も提供する。
  論文  参考訳（メタデータ） (2020-03-17T08:11:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。