論文の概要: slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2109.14002v1
• Date: Tue, 28 Sep 2021 19:31:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 04:51:17.868276
• Title: slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks
• Title（参考訳）: slimtrain --分離可能なディープニューラルネットワークのトレーニングのための確率近似法
• Authors: Elizabeth Newman, Julianne Chung, Matthias Chung, Lars Ruthotto
• Abstract要約: DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。 選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
• 参考スコア（独自算出の注目度）: 2.4373900721120285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have shown their success as high-dimensional function approximators in many applications; however, training DNNs can be challenging in general. DNN training is commonly phrased as a stochastic optimization problem whose challenges include non-convexity, non-smoothness, insufficient regularization, and complicated data distributions. Hence, the performance of DNNs on a given task depends crucially on tuning hyperparameters, especially learning rates and regularization parameters. In the absence of theoretical guidelines or prior experience on similar tasks, this requires solving many training problems, which can be time-consuming and demanding on computational resources. This can limit the applicability of DNNs to problems with non-standard, complex, and scarce datasets, e.g., those arising in many scientific applications. To remedy the challenges of DNN training, we propose slimTrain, a stochastic optimization method for training DNNs with reduced sensitivity to the choice hyperparameters and fast initial convergence. The central idea of slimTrain is to exploit the separability inherent in many DNN architectures; that is, we separate the DNN into a nonlinear feature extractor followed by a linear model. This separability allows us to leverage recent advances made for solving large-scale, linear, ill-posed inverse problems. Crucially, for the linear weights, slimTrain does not require a learning rate and automatically adapts the regularization parameter. Since our method operates on mini-batches, its computational overhead per iteration is modest. In our numerical experiments, slimTrain outperforms existing DNN training methods with the recommended hyperparameter settings and reduces the sensitivity of DNN training to the remaining hyperparameters.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は多くのアプリケーションで高次元関数近似器としての成功を示しているが、一般にDNNのトレーニングは難しい。 DNNトレーニングは一般に、非凸性、非滑らか性、不十分な正規化、複雑なデータ分布を含む確率的最適化問題として表現される。 したがって、与えられたタスクにおけるDNNの性能は、特に学習率や正規化パラメータの調整に大きく依存する。 理論的ガイドラインや類似したタスクの事前経験がない場合、これは多くの訓練問題を解く必要があり、計算資源に時間を要する。 これにより、DNNの適用性は、非標準、複雑、希少なデータセット、例えば多くの科学的応用で発生するデータセットの問題に制限される。 DNNトレーニングの課題を解決するために,選択したハイパーパラメータに対する感度を低減し,初期収束を高速化した,DNNの確率的最適化手法であるslimTrainを提案する。 slimTrainの中心となる考え方は、多くのDNNアーキテクチャに固有の分離性を利用することである。 この分離性により、大規模で線形で不適切な逆問題を解くための最近の進歩を活用できる。 重要なのは、線形重みに対して、slimtrainは学習率を必要とせず、自動的に正規化パラメータに適応する。 本手法はミニバッチで動作するため,1イテレーションあたりの計算オーバーヘッドは控えめである。 数値実験では、slimTrainは既存のDNNトレーニング手法よりも高パラメータ設定が推奨され、残りのハイパーパラメータに対するDNNトレーニングの感度が低下する。

関連論文リスト

• Make Me a BNN: A Simple Strategy for Estimating Bayesian Uncertainty from Pre-trained Models [40.38541033389344]
  ディープニューラルネットワーク(Deep Neural Networks, DNN)は、様々なコンピュータビジョンタスクのための強力なツールであるが、信頼性の高い不確実性定量化に苦慮することが多い。 本稿では、DNNをBNNにシームレスに変換するシンプルでスケーラブルな戦略であるAdaptable Bayesian Neural Network (ABNN)を紹介する。 画像分類とセマンティックセグメンテーションタスクのための複数のデータセットにわたる広範囲な実験を行い、ABNNが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-12-23T16:39:24Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Quantum-Inspired Tensor Neural Networks for Option Pricing [4.3942901219301564]
  近年の深層学習の進歩により,高次元の問題を解くことで,次元性の呪い(COD)に対処することが可能になった。 このようなCODに対処するアプローチのサブセットは、高次元PDEの解決に繋がった。 この結果、数学的な金融から産業用途の制御まで、様々な現実世界の問題を解決するための扉が開けた。
  論文  参考訳（メタデータ） (2022-12-28T19:39:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Rethinking Pretraining as a Bridge from ANNs to SNNs [13.984523794353477]
  スパイキングニューラルネットワーク(SNN)は、特有の特徴を持つ脳にインスパイアされた典型的なモデルとして知られている。 高い精度のモデルを得る方法は、常にSNNの分野における主要な課題である。
  論文  参考訳（メタデータ） (2022-03-02T14:59:57Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• TaxoNN: A Light-Weight Accelerator for Deep Neural Network Training [2.5025363034899732]
  本稿では,SGDアルゴリズムを単純な計算要素に分割することで,ベースラインDNNアクセラレータ(推論のみ)にトレーニング能力を付加する手法を提案する。 DNNトレーニングのための軽量加速器であるTaxoNNを提案する。 実験の結果,TaxoNNは実精度よりも平均0.97%,誤分類率が高いことがわかった。
  論文  参考訳（メタデータ） (2020-10-11T09:04:19Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。