論文の概要: Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise
Training of Neural Networks
- arxiv url: http://arxiv.org/abs/2312.13311v1
- Date: Wed, 20 Dec 2023 08:02:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 17:14:24.067635
- Title: Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise
Training of Neural Networks
- Title(参考訳): Unlocking Deep Learning: ニューラルネットワークの並列ブロック幅トレーニングのためのBPフリーアプローチ
- Authors: Anzhe Cheng, Zhenkun Wang, Chenzhong Yin, Mingxi Cheng, Heng Ping,
Xiongye Xiao, Shahin Nazarian, Paul Bogdan
- Abstract要約: ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。
実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
- 参考スコア(独自算出の注目度): 9.718519843862937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Backpropagation (BP) has been a successful optimization technique for deep
learning models. However, its limitations, such as backward- and
update-locking, and its biological implausibility, hinder the concurrent
updating of layers and do not mimic the local learning processes observed in
the human brain. To address these issues, recent research has suggested using
local error signals to asynchronously train network blocks. However, this
approach often involves extensive trial-and-error iterations to determine the
best configuration for local training. This includes decisions on how to
decouple network blocks and which auxiliary networks to use for each block. In
our work, we introduce a novel BP-free approach: a block-wise BP-free (BWBPF)
neural network that leverages local error signals to optimize distinct
sub-neural networks separately, where the global loss is only responsible for
updating the output layer. The local error signals used in the BP-free model
can be computed in parallel, enabling a potential speed-up in the weight update
process through parallel implementation. Our experimental results consistently
show that this approach can identify transferable decoupled architectures for
VGG and ResNet variations, outperforming models trained with end-to-end
backpropagation and other state-of-the-art block-wise learning techniques on
datasets such as CIFAR-10 and Tiny-ImageNet. The code is released at
https://github.com/Belis0811/BWBPF.
- Abstract(参考訳): バックプロパゲーション(BP)はディープラーニングモデルの最適化手法として成功している。
しかし、その制限、例えば後方ロックや更新ロック、生物学的な不確実性は、レイヤーの同時更新を妨げ、人間の脳で観察される局所的な学習プロセスを模倣しない。
これらの問題に対処するため、最近の研究では、ネットワークブロックを非同期にトレーニングするためにローカルエラー信号を使うことが提案されている。
しかしながら、このアプローチでは、ローカルトレーニングの最適な構成を決定するために、広範囲にわたる試行錯誤を繰り返します。
これには、ネットワークブロックの分離方法や、各ブロックで使用する補助ネットワークに関する決定が含まれる。
本研究では,ブロックワイズbpフリー(bwbpf)ニューラルネットワークを用いて,局所的エラー信号を利用して異なるサブニューラルネットワークを別々に最適化する手法を提案する。
bpフリーモデルで使用される局所的エラー信号は並列に計算でき、並列実装による重み付け更新プロセスの潜在的な高速化を可能にする。
CIFAR-10 や Tiny-ImageNet などのデータセット上で,VGG と ResNet のばらつきの伝達可能な疎結合アーキテクチャ,エンドツーエンドのバックプロパゲーションで訓練されたモデル,その他最先端のブロックワイズ学習技術で訓練されたモデル,などについて一貫した実験結果を得た。
コードはhttps://github.com/belis0811/bwbpfでリリースされる。
関連論文リスト
- Block-local learning with probabilistic latent representations [2.839567756494814]
ロックとウェイトトランスポートは、トレーニングプロセスの効率的な並列化と水平スケーリングを防止するためである。
本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。
各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
論文 参考訳(メタデータ) (2023-05-24T10:11:30Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳(メタデータ) (2023-03-17T02:01:11Z) - BackLink: Supervised Local Training with Backward Links [2.104758015212034]
この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことが可能な、新しいローカルトレーニングアルゴリズムであるBackLinkを提案する。
提案手法は,ResNet110のメモリコストを79%削減し,ResNet110のシミュレーションランタイムを52%削減する。
論文 参考訳(メタデータ) (2022-05-14T21:49:47Z) - Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous
Distributed Learning [3.7722254371820987]
Decoupled Greedy Learning (DGL)と呼ばれる,最小限のフィードバックに基づくシンプルな代替案を検討する。
近年,大規模な画像分類において,畳み込みニューラルネットワーク(CNN)の文脈で有効であることが示されている。
我々は、この手法が収束し、シーケンシャル・ソルバと比較されることを理論的、実証的に示す。
論文 参考訳(メタデータ) (2021-06-11T13:55:17Z) - Towards Evaluating and Training Verifiably Robust Neural Networks [81.39994285743555]
We study the relationship between IBP and CROWN, and prove that CROWN are always tight than IBP when select each bounding lines。
線形結合伝播(LBP) CROWNの緩やかなバージョンを提案する。これは、大きなネットワークを検証して、より低い検証エラーを得るのに使用できる。
論文 参考訳(メタデータ) (2021-04-01T13:03:48Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - LoCo: Local Contrastive Representation Learning [93.98029899866866]
重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。
このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
論文 参考訳(メタデータ) (2020-08-04T05:41:29Z) - Distillation Guided Residual Learning for Binary Convolutional Neural
Networks [83.6169936912264]
Binary CNN(BCNN)とFloating Point CNN(FCNN)のパフォーマンスギャップを埋めることは難しい。
我々は,この性能差が,BCNNとFCNNの中間特徴写像の間にかなりの残差をもたらすことを観察した。
性能ギャップを最小限に抑えるため,BCNN は FCNN と同様の中間特徴写像を生成する。
このトレーニング戦略、すなわち、FCNNから派生したブロックワイド蒸留損失で各バイナリ畳み込みブロックを最適化することで、BCNNをより効果的に最適化する。
論文 参考訳(メタデータ) (2020-07-10T07:55:39Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。