論文の概要: Efficient Deep Learning with Decorrelated Backpropagation

• arxiv url: http://arxiv.org/abs/2405.02385v3
• Date: Mon, 09 Dec 2024 14:03:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:48:27.596761
• Title: Efficient Deep Learning with Decorrelated Backpropagation
• Title（参考訳）: 遅延関連バックプロパゲーションを用いた効率的な深層学習
• Authors: Sander Dalm, Joshua Offergeld, Nasir Ahmad, Marcel van Gerven,
• Abstract要約: Decorrelated backpropagationを用いた非常に深いニューラルネットワークのより効率的なトレーニングが実現可能であることを初めて示します。 我々は18層深層ネットワークのトレーニングにおいて,バックプロパゲーションに比べて2倍以上のスピードアップと高いテスト精度を得る。
• 参考スコア（独自算出の注目度）: 1.9731499060686393
• License:
• Abstract: The backpropagation algorithm remains the dominant and most successful method for training deep neural networks (DNNs). At the same time, training DNNs at scale comes at a significant computational cost and therefore a high carbon footprint. Converging evidence suggests that input decorrelation may speed up deep learning. However, to date, this has not yet translated into substantial improvements in training efficiency in large-scale DNNs. This is mainly caused by the challenge of enforcing fast and stable network-wide decorrelation. Here, we show for the first time that much more efficient training of very deep neural networks using decorrelated backpropagation is feasible. To achieve this goal we made use of a novel algorithm which induces network-wide input decorrelation using minimal computational overhead. By combining this algorithm with careful optimizations, we obtain a more than two-fold speed-up and higher test accuracy compared to backpropagation when training a 18-layer deep residual network. This demonstrates that decorrelation provides exciting prospects for efficient deep learning at scale.
• Abstract（参考訳）: バックプロパゲーションアルゴリズムは、ディープニューラルネットワーク(DNN)をトレーニングするための支配的かつ最も成功した方法である。 同時に、大規模にDNNを訓練することは、計算コストが非常に高く、従って炭素フットプリントが高い。 収束する証拠は、入力のデコレーションがディープラーニングを加速させる可能性があることを示唆している。 しかし、これまでのところ、これは大規模なDNNのトレーニング効率を大幅に向上させるには至っていない。 これは主に、高速で安定したネットワーク全体のデコレーションを強制することによるものである。 ここでは、デコラートなバックプロパゲーションを用いた非常に深いニューラルネットワークのより効率的なトレーニングが実現可能であることを示す。 この目的を達成するために、最小の計算オーバーヘッドを用いてネットワーク全体の入力デコレーションを誘導する新しいアルゴリズムを用いた。 このアルゴリズムと注意深い最適化を組み合わせることで、18層ディープ残差ネットワークのトレーニングにおいて、バックプロパゲーションに比べて2倍以上のスピードアップと高いテスト精度が得られる。 これは、デコレーションが大規模な効率的なディープラーニングにエキサイティングな可能性をもたらすことを示している。

関連論文リスト

• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Navigating Local Minima in Quantized Spiking Neural Networks [3.1351527202068445]
  深層学習(DL)アルゴリズムの超効率的な実装においては,スパイキングと量子ニューラルネットワーク(NN)が極めて重要になっている。 これらのネットワークは、ハードしきい値を適用する際の勾配信号の欠如により、エラーのバックプロパゲーションを使用してトレーニングする際の課題に直面している。 本稿では,コサインアニールLRスケジュールと重み非依存適応モーメント推定を併用したシステム評価を行った。
  論文  参考訳（メタデータ） (2022-02-15T06:42:25Z)
• Efficient Training of Spiking Neural Networks with Temporally-Truncated Local Backpropagation through Time [1.926678651590519]
  訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。 本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-13T07:44:58Z)
• Training Algorithm Matters for the Performance of Neural Network Potential [4.774810604472842]
  適応モーメント推定アルゴリズム(Adam)と拡張カルマンフィルタアルゴリズム(EKF)の2つの人気トレーニングアルゴリズムの性能を比較した。 その結果,EKFで訓練したNNPは,Adamと比較して伝達性が高く,学習率に敏感ではないことがわかった。
  論文  参考訳（メタデータ） (2021-09-08T16:48:33Z)
• Analytically Tractable Inference in Deep Neural Networks [0.0]
  Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。 従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
  論文  参考訳（メタデータ） (2021-03-09T14:51:34Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)
• Large Batch Training Does Not Need Warmup [111.07680619360528]
  大きなバッチサイズを使用してディープニューラルネットワークをトレーニングすることは、有望な結果を示し、多くの現実世界のアプリケーションに利益をもたらしている。 本稿では,大規模バッチ学習のための全層適応レートスケーリング(CLARS)アルゴリズムを提案する。 分析に基づいて,このギャップを埋め,3つの一般的な大規模バッチトレーニング手法の理論的洞察を提示する。
  論文  参考訳（メタデータ） (2020-02-04T23:03:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。