論文の概要: Towards Deep Learning Models Resistant to Large Perturbations
- arxiv url: http://arxiv.org/abs/2003.13370v1
- Date: Mon, 30 Mar 2020 12:03:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:40:52.512558
- Title: Towards Deep Learning Models Resistant to Large Perturbations
- Title（参考訳）: 大規模摂動に抵抗する深層学習モデルに向けて
- Authors: Amirreza Shaeiri, Rozhin Nobahari, Mohammad Hossein Rohban
- Abstract要約: 敵対的堅牢性は、機械学習アルゴリズムの必須特性であることが証明されている。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adversarial robustness has proven to be a required property of machine
learning algorithms. A key and often overlooked aspect of this problem is to
try to make the adversarial noise magnitude as large as possible to enhance the
benefits of the model robustness. We show that the well-established algorithm
called "adversarial training" fails to train a deep neural network given a
large, but reasonable, perturbation magnitude. In this paper, we propose a
simple yet effective initialization of the network weights that makes learning
on higher levels of noise possible. We next evaluate this idea rigorously on
MNIST ($\epsilon$ up to $\approx 0.40$) and CIFAR10 ($\epsilon$ up to $\approx
32/255$) datasets assuming the $\ell_{\infty}$ attack model. Additionally, in
order to establish the limits of $\epsilon$ in which the learning is feasible,
we study the optimal robust classifier assuming full access to the joint data
and label distribution. Then, we provide some theoretical results on the
adversarial accuracy for a simple multi-dimensional Bernoulli distribution,
which yields some insights on the range of feasible perturbations for the MNIST
dataset.
- Abstract（参考訳）: 敵対的堅牢性は機械学習アルゴリズムの必須特性であることが証明されている。
この問題の重要かつしばしば見落とされがちな側面は、モデル堅牢性の利点を高めるために、敵の雑音の大きさをできるだけ大きくすることである。
とよばれるアルゴリズムは、大きくても合理的で摂動のマグニチュードが与えられたディープニューラルネットワークのトレーニングに失敗することを示した。
本稿では,より高レベルな雑音学習を可能にするネットワーク重みの簡易かつ効果的な初期化を提案する。
次に、このアイデアをMNIST($\epsilon$から$\approx 0.40$)とCIFAR10($\epsilon$から$\approx 32/255$)のデータセットで厳格に評価し、$\ell_{\infty}$攻撃モデルを想定します。
さらに,学習が実現可能な$\epsilon$の限界を確立するために,共同データとラベル分布の完全アクセスを前提とした最適ロバスト分類器について検討する。
次に, 単純な多次元ベルヌーイ分布の逆数精度に関する理論的結果を示し, MNISTデータセットの可能な摂動範囲についていくつかの知見を得る。
関連論文リスト
- Sharper Guarantees for Learning Neural Network Classifiers with Gradient Methods [43.32546195968771]
本研究では,スムーズなアクティベーションを有するニューラルネットワークに対する勾配法におけるデータ依存収束と一般化挙動について検討する。
我々の結果は、よく確立されたRadecher複雑性に基づく境界の欠点を改善した。
XOR分布の分類において、NTK体制の結果に対して大きなステップサイズが大幅に改善されることが示されている。
論文 参考訳（メタデータ） (2024-10-13T21:49:29Z) - Neural-g: A Deep Learning Framework for Mixing Density Estimation [16.464806944964003]
混合(または先行)密度推定は、機械学習と統計学において重要な問題である。
本稿では,新しいニューラルネットワークを用いたモデリング手法であるNeural-$g$を提案する。
論文 参考訳（メタデータ） (2024-06-10T03:00:28Z) - Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。
我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文 参考訳（メタデータ） (2024-05-26T17:08:04Z) - Fast, Distribution-free Predictive Inference for Neural Networks with
Coverage Guarantees [25.798057062452443]
本稿では,予測推論(PI)のための新しい計算効率アルゴリズムを提案する。
データに対する分布的な仮定は不要で、ニューラルネットワークの既存のブートストラップ方式よりも高速に計算できる。
論文 参考訳（メタデータ） (2023-06-11T04:03:58Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-08-17T05:42:59Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Learning Halfspaces with Tsybakov Noise [50.659479930171585]
テュバコフ雑音の存在下でのハーフスペースの学習可能性について検討する。
真半空間に関して誤分類誤差$epsilon$を達成するアルゴリズムを与える。
論文 参考訳（メタデータ） (2020-06-11T14:25:02Z) - Distributionally Robust Weighted $k$-Nearest Neighbors [21.537952410507483]
少数のサンプルから堅牢な分類器を学ぶことは、マシンラーニングにおける重要な課題である。
本稿では, 重み付き$k$-アネレスト近傍のミニマックス分布に頑健な定式化について検討する。
我々は,この関数最適化問題を効率的に解くアルゴリズムである textttDr.k-NN を開発した。
論文 参考訳（メタデータ） (2020-06-07T00:34:33Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。