Fugu-MT 論文翻訳(概要): Scaling Supervised Local Learning with Augmented Auxiliary Networks

論文の概要: Scaling Supervised Local Learning with Augmented Auxiliary Networks

arxiv url: http://arxiv.org/abs/2402.17318v1
Date: Tue, 27 Feb 2024 08:50:45 GMT
ステータス: 処理完了
システム内更新日: 2024-02-28 17:15:58.867170
Title: Scaling Supervised Local Learning with Augmented Auxiliary Networks
Title（参考訳）: Augmented Auxiliary Networksによるローカル学習のスケーリング
Authors: Chenxiang Ma, Jibin Wu, Chenyang Si, Kay Chen Tan
Abstract要約: 本稿では,深層ニューラルネットワークのためのAugLocalと呼ばれる局所学習手法を提案する。 AugLocalは、BP学習ネットワークと同等の精度で、数十のローカルレイヤに効果的にスケールアップできることを示す。提案したAugLocalメソッドは、リソース制約のあるプラットフォーム上で、高性能なディープニューラルネットワークをトレーニングする多くの機会を開放する。
参考スコア（独自算出の注目度）: 29.79621064772869
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep neural networks are typically trained using global error signals that backpropagate (BP) end-to-end, which is not only biologically implausible but also suffers from the update locking problem and requires huge memory consumption. Local learning, which updates each layer independently with a gradient-isolated auxiliary network, offers a promising alternative to address the above problems. However, existing local learning methods are confronted with a large accuracy gap with the BP counterpart, particularly for large-scale networks. This is due to the weak coupling between local layers and their subsequent network layers, as there is no gradient communication across layers. To tackle this issue, we put forward an augmented local learning method, dubbed AugLocal. AugLocal constructs each hidden layer's auxiliary network by uniformly selecting a small subset of layers from its subsequent network layers to enhance their synergy. We also propose to linearly reduce the depth of auxiliary networks as the hidden layer goes deeper, ensuring sufficient network capacity while reducing the computational cost of auxiliary networks. Our extensive experiments on four image classification datasets (i.e., CIFAR-10, SVHN, STL-10, and ImageNet) demonstrate that AugLocal can effectively scale up to tens of local layers with a comparable accuracy to BP-trained networks while reducing GPU memory usage by around 40%. The proposed AugLocal method, therefore, opens up a myriad of opportunities for training high-performance deep neural networks on resource-constrained platforms.Code is available at https://github.com/ChenxiangMA/AugLocal.
Abstract（参考訳）: ディープニューラルネットワークは一般的に、生物学的に理解できないだけでなく、更新ロックの問題に悩まされ、膨大なメモリ消費を必要とするグローバルエラー信号を使用して訓練される。各レイヤを独立して勾配分離した補助ネットワークで更新するローカル学習は、上記の問題に対処するための有望な代替手段を提供する。しかし,既存のローカル学習手法は,特に大規模ネットワークにおいてBPとの大きな精度差に直面している。これは、レイヤ間の勾配通信がないため、ローカル層とその後のネットワーク層の間の弱い結合に起因する。この問題に対処するため,AugLocalと呼ばれる拡張ローカル学習手法を提案する。 AugLocalは、後続のネットワーク層から小さなレイヤのサブセットを均一に選択することで、各隠されたレイヤの補助ネットワークを構築する。また,隠れた層が深くなるにつれて補助ネットワークの深さを線形に削減し,補助ネットワークの計算コストを低減し,十分なネットワーク容量を確保することを提案する。 4つの画像分類データセット(CIFAR-10、SVHN、STL-10、ImageNet)に関する広範な実験により、AugLocalは、BPトレーニングネットワークに匹敵する精度で、数十のローカルレイヤに効果的にスケールアップでき、GPUメモリ使用量を約40%削減できることを示した。したがって、提案されたauglocalメソッドは、リソース制約のあるプラットフォーム上でハイパフォーマンスなディープニューラルネットワークをトレーニングする無数の機会を開く。

関連論文リスト

Momentum Auxiliary Network for Supervised Local Learning [7.5717621206854275]
改良されたローカル学習セグメントは、独立した補助ネットワークによって更新された複数のローカルブロックにネットワークを分割する。動的相互作用機構を確立するためのMAN(Momentum Auxiliary Network)を提案する。エンドツーエンドのトレーニングに比べて,ImageNetデータセットではGPUメモリ使用率を45%以上削減できる。
論文参考訳（メタデータ） (2024-07-08T05:31:51Z)
Spatial Bias for Attention-free Non-local Neural Networks [11.320414512937946]
畳み込みニューラルネットワークにおいて,自己注意なしでグローバルな知識を学ぶために空間バイアスを導入する。画像Net-1Kおよびcifar100データセットにおいて,空間バイアスは,分類精度を+0.79%,+1.5%向上する競争性能を実現する。
論文参考訳（メタデータ） (2023-02-24T08:16:16Z)
Improving the Trainability of Deep Neural Networks through Layerwise Batch-Entropy Regularization [1.3999481573773072]
ニューラルネットワークの各層を通しての情報の流れを定量化するバッチエントロピーを導入,評価する。損失関数にバッチエントロピー正規化項を追加するだけで、500層からなる「バニラ」完全連結ネットワークと畳み込みニューラルネットワークをトレーニングできることが示される。
論文参考訳（メタデータ） (2022-08-01T20:31:58Z)
Layer Folding: Neural Network Depth Reduction using Activation Linearization [0.0]
現代のデバイスは高いレベルの並列性を示すが、リアルタイムレイテンシはネットワークの深さに大きく依存している。線形でない活性化を除去できるかどうかを学習し、連続的な線形層を1つに折り畳む方法を提案する。我々は, CIFAR-10 と CIFAR-100 で事前訓練されたネットワークに適用し, それら全てを同様の深さの浅い形に変換できることを示す。
論文参考訳（メタデータ） (2021-06-17T08:22:46Z)
All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文参考訳（メタデータ） (2021-03-02T03:09:03Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)
Dense Residual Network: Enhancing Global Dense Feature Flow for Character Recognition [75.4027660840568]
本稿では,すべての畳み込み層から階層的特徴をフルに活用することにより,局所的・大域的特徴フローを改善する方法について検討する。技術的には、テキスト認識のための効率的で効果的なCNNフレームワークであるFDRN(Fast Dense Residual Network)を提案する。
論文参考訳（メタデータ） (2020-01-23T06:55:08Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。