論文の概要: Sampling-Based Techniques for Training Deep Neural Networks with Limited Computational Resources: A Scalability Evaluation

• arxiv url: http://arxiv.org/abs/2306.09293v1
• Date: Thu, 15 Jun 2023 17:19:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 13:36:04.603592
• Title: Sampling-Based Techniques for Training Deep Neural Networks with Limited Computational Resources: A Scalability Evaluation
• Title（参考訳）: 限られた計算資源でディープニューラルネットワークを訓練するためのサンプリングベース手法:スケーラビリティ評価
• Authors: Sana Ebrahimi, Rishi Advani, Abolfazl Asudeh
• Abstract要約: ディープニューラルネットワークのトレーニング時間を高速化するためのサンプリングベースのテクニックがいくつか提案されている。 本稿では,計算資源が限られているCPUマシンにおいて,これらの手法のスケーラビリティを評価する。
• 参考スコア（独自算出の注目度）: 7.737488552757718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks are superior to shallow networks in learning complex representations. As such, there is a fast-growing interest in utilizing them in large-scale settings. The training process of neural networks is already known to be time-consuming, and having a deep architecture only aggravates the issue. This process consists mostly of matrix operations, among which matrix multiplication is the bottleneck. Several sampling-based techniques have been proposed for speeding up the training time of deep neural networks by approximating the matrix products. These techniques fall under two categories: (i) sampling a subset of nodes in every hidden layer as active at every iteration and (ii) sampling a subset of nodes from the previous layer to approximate the current layer's activations using the edges from the sampled nodes. In both cases, the matrix products are computed using only the selected samples. In this paper, we evaluate the scalability of these approaches on CPU machines with limited computational resources. Making a connection between the two research directions as special cases of approximating matrix multiplications in the context of neural networks, we provide a negative theoretical analysis that shows feedforward approximation is an obstacle against scalability. We conduct comprehensive experimental evaluations that demonstrate the most pressing challenges and limitations associated with the studied approaches. We observe that the hashing-based node selection method is not scalable to a large number of layers, confirming our theoretical analysis. Finally, we identify directions for future research.
• Abstract（参考訳）: ディープニューラルネットワークは、複雑な表現を学ぶ際の浅いネットワークよりも優れている。 そのため、大規模環境での利用への関心は急速に高まっている。 ニューラルネットワークのトレーニングプロセスはすでに時間を要することが知られており、深いアーキテクチャを持つことは問題を悪化させるだけだ。 この過程は行列演算によって構成され、行列乗法がボトルネックとなる。 行列生成物を近似することにより、ディープニューラルネットワークのトレーニング時間を高速化するサンプリングベース手法が提案されている。 これらのテクニックは2つのカテゴリに分類される。 i) すべての隠れたレイヤのノードのサブセットを、イテレーション毎にアクティブにサンプリングし、 (ii)前層からノードのサブセットをサンプリングし、サンプルされたノードのエッジを使用して現在のレイヤのアクティベーションを近似する。 いずれの場合も、選択されたサンプルのみを用いて行列積を算出する。 本稿では,計算資源の少ないcpuマシンにおけるこれらの手法のスケーラビリティを評価する。 ニューラルネットワークの文脈における行列乗法近似の特別な場合として,2つの研究方向を結びつけることにより,feedforward近似がスケーラビリティに対する障害であることを示す負の理論解析を行う。 我々は,本研究のアプローチに係わる最も差し迫った課題と限界を示す総合的な実験評価を行う。 ハッシュに基づくノード選択法は,多数の層に拡張性を持たず,理論解析を裏付けるものである。 最後に,今後の研究の方向性を明らかにする。

関連論文リスト

• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks [13.159994710917022]
  本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。 本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
  論文  参考訳（メタデータ） (2022-02-09T18:50:00Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• Compressive Sensing and Neural Networks from a Statistical Learning Perspective [4.561032960211816]
  線形測定の少ないスパース再構成に適したニューラルネットワークのクラスに対する一般化誤差解析を提案する。 現実的な条件下では、一般化誤差は層数で対数的にしかスケールせず、測定数ではほとんど線形である。
  論文  参考訳（メタデータ） (2020-10-29T15:05:43Z)
• Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
  レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。 本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
  論文  参考訳（メタデータ） (2020-09-21T14:46:01Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• An Effective and Efficient Initialization Scheme for Training Multi-layer Feedforward Neural Networks [5.161531917413708]
  本稿では,有名なスタインの身元に基づく新しいネットワーク初期化手法を提案する。 提案したSteinGLM法は、ニューラルネットワークのトレーニングによく使われる他の一般的な手法よりもはるかに高速で高精度であることを示す。
  論文  参考訳（メタデータ） (2020-05-16T16:17:37Z)
• Parallelization Techniques for Verifying Neural Networks [52.917845265248744]
  検証問題に基づくアルゴリズムを反復的に導入し、2つの分割戦略を探索する。 また、ニューラルネットワークの検証問題を単純化するために、ニューロンアクティベーションフェーズを利用する、高度に並列化可能な前処理アルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-04-17T20:21:47Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。