論文の概要: ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation
- arxiv url: http://arxiv.org/abs/2408.12561v1
- Date: Thu, 22 Aug 2024 17:22:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-23 13:02:30.276054
- Title: ssProp: Energy-Efficient Training for Convolutional Neural Networks with Scheduled Sparse Back Propagation
- Title（参考訳）: ssProp: スケジューリングされたスパースバック伝搬を用いた畳み込みニューラルネットワークのエネルギー効率向上トレーニング
- Authors: Lujia Zhong, Shuo Huang, Yonggang Shi,
- Abstract要約: バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。
ディープラーニングアーキテクチャにシームレスに統合できる汎用的でエネルギー効率の良い畳み込みモジュールを提案する。
- 参考スコア（独自算出の注目度）: 4.77407121905745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, deep learning has made remarkable strides, especially with generative modeling, such as large language models and probabilistic diffusion models. However, training these models often involves significant computational resources, requiring billions of petaFLOPs. This high resource consumption results in substantial energy usage and a large carbon footprint, raising critical environmental concerns. Back-propagation (BP) is a major source of computational expense during training deep learning models. To advance research on energy-efficient training and allow for sparse learning on any machine and device, we propose a general, energy-efficient convolution module that can be seamlessly integrated into any deep learning architecture. Specifically, we introduce channel-wise sparsity with additional gradient selection schedulers during backward based on the assumption that BP is often dense and inefficient, which can lead to over-fitting and high computational consumption. Our experiments demonstrate that our approach reduces 40\% computations while potentially improving model performance, validated on image classification and generation tasks. This reduction can lead to significant energy savings and a lower carbon footprint during the research and development phases of large-scale AI systems. Additionally, our method mitigates over-fitting in a manner distinct from Dropout, allowing it to be combined with Dropout to further enhance model performance and reduce computational resource usage. Extensive experiments validate that our method generalizes to a variety of datasets and tasks and is compatible with a wide range of deep learning architectures and modules. Code is publicly available at https://github.com/lujiazho/ssProp.
- Abstract（参考訳）: 近年,大規模言語モデルや確率的拡散モデルなどの生成モデルにおいて,ディープラーニングは顕著な進歩を遂げている。
しかしながら、これらのモデルのトレーニングは、数十億ペタFLOPを必要とする、重要な計算資源を必要とすることが多い。
この高い資源消費は、かなりのエネルギー消費と大きな炭素フットプリントをもたらし、重要な環境問題を引き起こす。
バックプロパゲーション(BP)は、ディープラーニングモデルをトレーニングする際の計算コストの主要な源泉である。
エネルギー効率のトレーニングを推進し,任意のマシンやデバイス上でスパース学習を可能にするために,ディープラーニングアーキテクチャにシームレスに統合可能な,汎用的でエネルギー効率のよい畳み込みモジュールを提案する。
具体的には、BPがしばしば密度が高く非効率であり、過度な適合と高い計算消費につながるという仮定に基づいて、後方方向の勾配選択スケジューラを付加したチャネルワイドスケジューラを導入する。
実験の結果,提案手法は40倍の計算量を削減するとともに,画像分類と生成タスクの検証によりモデル性能を向上する可能性が示唆された。
この削減は、大規模なAIシステムの研究開発フェーズにおいて、大幅な省エネと炭素フットプリントの低下につながる可能性がある。
さらに,本手法はDropoutとは別の方法で過剰適合を緩和し,Dropoutと組み合わせることでモデル性能をさらに向上し,計算資源の使用量を削減する。
大規模な実験により,本手法が様々なデータセットやタスクに一般化され,幅広いディープラーニングアーキテクチャやモジュールと互換性があることが確認された。
コードはhttps://github.com/lujiazho/ssProp.comで公開されている。
関連論文リスト
- Diffusion-Based Neural Network Weights Generation [80.89706112736353]
D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。
本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。
我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
論文 参考訳（メタデータ） (2024-02-28T08:34:23Z) - Uncovering Energy-Efficient Practices in Deep Learning Training:
Preliminary Steps Towards Green AI [8.025202812165412]
我々は、エネルギー消費を精度に等しい重要性の指標とみなし、無関係なタスクやエネルギー使用量を減らす。
持続可能性の観点から深層学習パイプラインの訓練段階について検討する。
ディープラーニングモデルをトレーニングするための革新的で有望なエネルギー効率のプラクティスを強調します。
論文 参考訳（メタデータ） (2023-03-24T12:48:21Z) - Energy Efficiency of Training Neural Network Architectures: An Empirical
Study [11.325530936177493]
ディープラーニングモデルの評価は、伝統的に精度、F1スコア、関連する指標などの基準に焦点を当ててきた。
このようなモデルを訓練するために必要な計算は、大きな炭素フットプリントを必要とする。
本研究では, DLモデルアーキテクチャと環境影響との関係を, エネルギー消費の観点から検討した。
論文 参考訳（メタデータ） (2023-02-02T09:20:54Z) - RLFlow: Optimising Neural Network Subgraph Transformation with World
Models [0.0]
本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。
提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-03T11:52:54Z) - Benchmarking Resource Usage for Efficient Distributed Deep Learning [10.869092085691687]
さまざまなドメイン/タスクを表すディープネットワークの配列をトレーニングする3,400以上の実験を行います。
私たちは、トレーニング時間が利用可能な計算リソースとエネルギー制約とどのようにスケールするかを記述するパワーローモデルに適合します。
論文 参考訳（メタデータ） (2022-01-28T21:24:15Z) - LCS: Learning Compressible Subspaces for Adaptive Network Compression at
Inference Time [57.52251547365967]
本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。
構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。
我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
論文 参考訳（メタデータ） (2021-10-08T17:03:34Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - FG-Net: Fast Large-Scale LiDAR Point CloudsUnderstanding Network
Leveraging CorrelatedFeature Mining and Geometric-Aware Modelling [15.059508985699575]
FG-Netは、Voxelizationなしで大規模ポイントクラウドを理解するための一般的なディープラーニングフレームワークです。
相関型特徴マイニングと変形性畳み込みに基づく幾何認識モデルを用いた深層畳み込みニューラルネットワークを提案する。
我々のアプローチは精度と効率の点で最先端のアプローチを上回っている。
論文 参考訳（メタデータ） (2020-12-17T08:20:09Z) - Learning Discrete Energy-based Models via Auxiliary-variable Local
Exploration [130.89746032163106]
離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。
エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。
本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2020-11-10T19:31:29Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。