Fugu-MT 論文翻訳(概要): A Sublinear Adversarial Training Algorithm

論文の概要: A Sublinear Adversarial Training Algorithm

arxiv url: http://arxiv.org/abs/2208.05395v1
Date: Wed, 10 Aug 2022 15:31:40 GMT
ステータス: 処理完了
システム内更新日: 2022-08-11 13:06:21.075301
Title: A Sublinear Adversarial Training Algorithm
Title（参考訳）: 部分線形逆訓練アルゴリズム
Authors: Yeqi Gao, Lianke Qin, Zhao Song, Yitan Wang
Abstract要約: 本稿では,ReLUの活性化をシフトした2層ニューラルネットワーク上での対向的トレーニング手順の収束保証を解析する。本研究では,半空間レポートデータ構造を適用して,時間コスト$o(m n d)$の逆トレーニングアルゴリズムを開発した。
参考スコア（独自算出の注目度）: 13.42699247306472
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Adversarial training is a widely used strategy for making neural networks resistant to adversarial perturbations. For a neural network of width $m$, $n$ input training data in $d$ dimension, it takes $\Omega(mnd)$ time cost per training iteration for the forward and backward computation. In this paper we analyze the convergence guarantee of adversarial training procedure on a two-layer neural network with shifted ReLU activation, and shows that only $o(m)$ neurons will be activated for each input data per iteration. Furthermore, we develop an algorithm for adversarial training with time cost $o(m n d)$ per iteration by applying half-space reporting data structure.
Abstract（参考訳）: 敵のトレーニングは、敵の摂動に抵抗するニューラルネットワークを広く使われる戦略である。幅$m$,$n$の入力トレーニングデータを$d$次元のニューラルネットワークの場合、前方および後方計算のトレーニングイテレーションあたりの時間コストは$\Omega(mnd)$である。本稿では,reluアクティベーションがシフトした2層ニューラルネットワーク上での逆訓練手順の収束保証を分析し,各入力データに対してo(m)$ニューロンのみが活性化されることを示す。さらに,半空間レポーティングデータ構造を適用することで,各イテレーションあたりo(m n d)$の時間コストで,逆行訓練のためのアルゴリズムを開発した。

関連論文リスト

Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文参考訳（メタデータ） (2024-05-26T17:08:04Z)
Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification [22.361338848134025]
本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
論文参考訳（メタデータ） (2023-07-13T05:33:44Z)
Bypass Exponential Time Preprocessing: Fast Neural Network Training via Weight-Data Correlation Preprocessing [16.35997749365563]
最先端のディープニューラルネットワークは、モデル精度を高めるために、毎年サイズが大きくなる。最近の作業(Song, Yang and Zhang, NeurIPS 2021)では、このイテレーション毎の時間を$o(nmd)$に削減していますが、データかニューラルネットワークの重みを前処理するのに指数関数的な時間が必要です。本稿では,各反復でどのニューロンが発火するかを迅速かつ動的に検出するために,木構造に重みデータ相関を簡易に格納する前処理手法を提案する。
論文参考訳（メタデータ） (2022-11-25T16:40:49Z)
Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文参考訳（メタデータ） (2022-08-09T02:29:42Z)
Bounding the Width of Neural Networks via Coupled Initialization -- A Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文参考訳（メタデータ） (2022-06-26T06:51:31Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Training Multi-Layer Over-Parametrized Neural Network in Subquadratic Time [12.348083977777833]
我々は、損失関数によって引き起こされる経験的リスクを最小限に抑えるために、多層超並列ニューラルネットワークを訓練する問題を考察する。本研究では,イテレーション毎のトレーニングコストの削減方法を示す。
論文参考訳（メタデータ） (2021-12-14T18:13:36Z)
Does Preprocessing Help Training Over-parameterized Neural Networks? [19.64638346701198]
我々は,$Omega(mnd)$バリアをバイパスする2つの新しい前処理手法を提案する。本研究は,これまでに確立された高速訓練法について理論的考察を行った。
論文参考訳（メタデータ） (2021-10-09T18:16:23Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Beyond Lazy Training for Over-parameterized Tensor Decomposition [69.4699995828506]
過度なパラメータ化対象の勾配勾配は遅延学習体制を超え、データ中の特定の低ランク構造を利用する可能性があることを示す。以上の結果から,過パラメータ化対象の勾配勾配は遅延学習体制を超え,データ中の特定の低ランク構造を利用する可能性が示唆された。
論文参考訳（メタデータ） (2020-10-22T00:32:12Z)
Taylorized Training: Towards Better Approximation of Neural Network Training at Finite Width [116.69845849754186]
Taylorized Trainingは、ニューラルネットワークの$k$-orderTaylor拡張をトレーニングする。我々は、Taylorized Trainingが完全なニューラルネットワークトレーニングに同意していることを示します。本実験は, 広帯域ニューラルネットワークにおいて, 近似誤差$k$-階Taylorized Modelが指数関数的に$k$以上減衰することを示す理論的結果と相補する。
論文参考訳（メタデータ） (2020-02-10T18:37:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。