Fugu-MT 論文翻訳(概要): Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification

論文の概要: Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification

arxiv url: http://arxiv.org/abs/2307.06565v1
Date: Thu, 13 Jul 2023 05:33:44 GMT
ステータス: 処理完了
システム内更新日: 2023-07-14 15:53:39.048644
Title: Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification
Title（参考訳）: サブリニア活性化ニューロン同定による効率的なSGDニューラルネットワークトレーニング
Authors: Lianke Qin, Zhao Song, Yuanyuan Yang
Abstract要約: 本稿では,ReLUの活性化をシフトする2層ニューラルネットワークについて,幾何学的探索によるサブ線形時間における活性化ニューロンの同定を可能にする。また、我々のアルゴリズムは、係数ノルム上界$M$とエラー項$epsilon$の2次ネットワークサイズで$O(M2/epsilon2)$時間に収束できることを示す。
参考スコア（独自算出の注目度）: 22.361338848134025
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep learning has been widely used in many fields, but the model training process usually consumes massive computational resources and time. Therefore, designing an efficient neural network training method with a provable convergence guarantee is a fundamental and important research question. In this paper, we present a static half-space report data structure that consists of a fully connected two-layer neural network for shifted ReLU activation to enable activated neuron identification in sublinear time via geometric search. We also prove that our algorithm can converge in $O(M^2/\epsilon^2)$ time with network size quadratic in the coefficient norm upper bound $M$ and error term $\epsilon$.
Abstract（参考訳）: ディープラーニングは多くの分野で広く使われているが、モデルトレーニングプロセスは通常、膨大な計算資源と時間を消費する。したがって、証明可能な収束保証を備えた効率的なニューラルネットワークトレーニング方法を設計することは、基礎的かつ重要な研究課題である。本稿では,ReLU活性化のための2層ニューラルネットワークを完全接続した静的半空間レポートデータ構造を用いて,幾何学的探索によるサブ線形時間での活性化ニューロン同定を実現する。また、我々のアルゴリズムは、係数ノルム上界$M$と誤差項$\epsilon$の2次ネットワークサイズで$O(M^2/\epsilon^2)$時間に収束できることを示す。

関連論文リスト

When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文参考訳（メタデータ） (2023-04-29T11:46:53Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Efficient, probabilistic analysis of combinatorial neural codes [0.0]
ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
論文参考訳（メタデータ） (2022-10-19T11:58:26Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
A Convergence Analysis of Nesterov's Accelerated Gradient Method in Training Deep Linear Neural Networks [21.994004684742812]
モメンタム法は高速軌道のトレーニングネットワークで広く用いられている。ランダム数と$kappaOの収束は、大域的な最小値に収束できることを示す。我々は解析を深い線形ResNetに拡張し、同様の結果を導出する。
論文参考訳（メタデータ） (2022-04-18T13:24:12Z)
Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文参考訳（メタデータ） (2022-01-11T20:53:15Z)
Neural networks with linear threshold activations: structure and algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文参考訳（メタデータ） (2021-11-15T22:33:52Z)
A quantum algorithm for training wide and deep classical neural networks [72.2614468437919]
勾配勾配勾配による古典的トレーサビリティに寄与する条件は、量子線形系を効率的に解くために必要な条件と一致することを示す。 MNIST画像データセットがそのような条件を満たすことを数値的に示す。我々は、プールを用いた畳み込みニューラルネットワークのトレーニングに$O(log n)$の実証的証拠を提供する。
論文参考訳（メタデータ） (2021-07-19T23:41:03Z)
Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-10-19T15:28:00Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。