論文の概要: BackLink: Supervised Local Training with Backward Links
- arxiv url: http://arxiv.org/abs/2205.07141v1
- Date: Sat, 14 May 2022 21:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-17 14:29:37.500154
- Title: BackLink: Supervised Local Training with Backward Links
- Title（参考訳）: BackLink: 後方リンクによるローカルトレーニングの監督
- Authors: Wenzhe Guo, Mohammed E Fouda, Ahmed M. Eltawil and Khaled N. Salama
- Abstract要約: この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことが可能な、新しいローカルトレーニングアルゴリズムであるBackLinkを提案する。
提案手法は,ResNet110のメモリコストを79%削減し,ResNet110のシミュレーションランタイムを52%削減する。
- 参考スコア（独自算出の注目度）: 2.104758015212034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empowered by the backpropagation (BP) algorithm, deep neural networks have
dominated the race in solving various cognitive tasks. The restricted training
pattern in the standard BP requires end-to-end error propagation, causing large
memory cost and prohibiting model parallelization. Existing local training
methods aim to resolve the training obstacle by completely cutting off the
backward path between modules and isolating their gradients to reduce memory
cost and accelerate the training process. These methods prevent errors from
flowing between modules and hence information exchange, resulting in inferior
performance. This work proposes a novel local training algorithm, BackLink,
which introduces inter-module backward dependency and allows errors to flow
between modules. The algorithm facilitates information to flow backward along
with the network. To preserve the computational advantage of local training,
BackLink restricts the error propagation length within the module. Extensive
experiments performed in various deep convolutional neural networks demonstrate
that our method consistently improves the classification performance of local
training algorithms over other methods. For example, in ResNet32 with 16 local
modules, our method surpasses the conventional greedy local training method by
4.00\% and a recent work by 1.83\% in accuracy on CIFAR10, respectively.
Analysis of computational costs reveals that small overheads are incurred in
GPU memory costs and runtime on multiple GPUs. Our method can lead up to a 79\%
reduction in memory cost and 52\% in simulation runtime in ResNet110 compared
to the standard BP. Therefore, our method could create new opportunities for
improving training algorithms towards better efficiency and biological
plausibility.
- Abstract（参考訳）: バックプロパゲーション(BP)アルゴリズムを応用したディープニューラルネットワークは、さまざまな認知タスクの解決において、レースを支配してきた。
標準BPの制限されたトレーニングパターンは、エンドツーエンドのエラー伝搬を必要とし、メモリコストが大きくなり、モデルの並列化が禁止される。
既存のローカルトレーニング手法は、モジュール間の後方経路を完全に遮断し、勾配を分離してメモリコストを削減し、トレーニングプロセスを加速することで、トレーニング障害を解決することを目的としている。
これらの手法は、モジュール間のエラーや情報交換を防止し、性能が低下する。
この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことができる新しいローカルトレーニングアルゴリズム、BackLinkを提案する。
このアルゴリズムは、情報をネットワークに沿って後方に流すのを容易にする。
ローカルトレーニングの計算上の利点を維持するため、BackLinkはモジュール内のエラー伝搬長を制限する。
様々な深層畳み込みニューラルネットワークで行った広範囲な実験により,本手法は他の手法よりも局所学習アルゴリズムの分類性能が一貫して向上することを示した。
例えば16個のローカルモジュールを持つResNet32では、従来のグリージーなローカルトレーニング手法を4.00\%、最近のCIFAR10の精度が1.83\%を超えている。
計算コストの分析により、小さなオーバーヘッドはGPUメモリコストと複数のGPU上でのランタイムに発生することが明らかになった。
本手法は,resnet110におけるメモリコストの79\%,シミュレーション実行時の52\%を標準bpと比較して削減できる。
そこで本手法は, 学習アルゴリズムを改良し, 効率性, 生物学的妥当性を向上する新たな機会を創出する。
関連論文リスト
- Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。
本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。
提案手法はローカルBPとBPフリー設定の両方に統合できる。
論文 参考訳（メタデータ） (2024-06-07T19:10:31Z) - Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise
Training of Neural Networks [9.718519843862937]
ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。
実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
論文 参考訳（メタデータ） (2023-12-20T08:02:33Z) - Go beyond End-to-End Training: Boosting Greedy Local Learning with
Context Supply [0.12187048691454236]
ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。
勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。
本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
論文 参考訳（メタデータ） (2023-12-12T10:25:31Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Learning in Feedback-driven Recurrent Spiking Neural Networks using
full-FORCE Training [4.124948554183487]
本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。
提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。
本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
論文 参考訳（メタデータ） (2022-05-26T19:01:19Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳（メタデータ） (2022-04-02T09:50:19Z) - Efficient Training of Spiking Neural Networks with Temporally-Truncated
Local Backpropagation through Time [1.926678651590519]
訓練用スパイクニューラルネットワーク(SNN)は、複雑な神経力学と発火機能における本質的な非微分性のため、依然として困難である。
本研究では,局所教師付きトレーニング手法と時間的制約付きBPTTアルゴリズムを統合したSNNの効率的かつ直接的なトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-13T07:44:58Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - RNN Training along Locally Optimal Trajectories via Frank-Wolfe
Algorithm [50.76576946099215]
小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。
新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
論文 参考訳（メタデータ） (2020-10-12T01:59:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。