論文の概要: Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks

• arxiv url: http://arxiv.org/abs/2312.13311v1
• Date: Wed, 20 Dec 2023 08:02:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 17:14:24.067635
• Title: Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise Training of Neural Networks
• Title（参考訳）: Unlocking Deep Learning: ニューラルネットワークの並列ブロック幅トレーニングのためのBPフリーアプローチ
• Authors: Anzhe Cheng, Zhenkun Wang, Chenzhong Yin, Mingxi Cheng, Heng Ping, Xiongye Xiao, Shahin Nazarian, Paul Bogdan
• Abstract要約: ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。 実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
• 参考スコア（独自算出の注目度）: 9.718519843862937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Backpropagation (BP) has been a successful optimization technique for deep learning models. However, its limitations, such as backward- and update-locking, and its biological implausibility, hinder the concurrent updating of layers and do not mimic the local learning processes observed in the human brain. To address these issues, recent research has suggested using local error signals to asynchronously train network blocks. However, this approach often involves extensive trial-and-error iterations to determine the best configuration for local training. This includes decisions on how to decouple network blocks and which auxiliary networks to use for each block. In our work, we introduce a novel BP-free approach: a block-wise BP-free (BWBPF) neural network that leverages local error signals to optimize distinct sub-neural networks separately, where the global loss is only responsible for updating the output layer. The local error signals used in the BP-free model can be computed in parallel, enabling a potential speed-up in the weight update process through parallel implementation. Our experimental results consistently show that this approach can identify transferable decoupled architectures for VGG and ResNet variations, outperforming models trained with end-to-end backpropagation and other state-of-the-art block-wise learning techniques on datasets such as CIFAR-10 and Tiny-ImageNet. The code is released at https://github.com/Belis0811/BWBPF.
• Abstract（参考訳）: バックプロパゲーション(BP)はディープラーニングモデルの最適化手法として成功している。 しかし、その制限、例えば後方ロックや更新ロック、生物学的な不確実性は、レイヤーの同時更新を妨げ、人間の脳で観察される局所的な学習プロセスを模倣しない。 これらの問題に対処するため、最近の研究では、ネットワークブロックを非同期にトレーニングするためにローカルエラー信号を使うことが提案されている。 しかしながら、このアプローチでは、ローカルトレーニングの最適な構成を決定するために、広範囲にわたる試行錯誤を繰り返します。 これには、ネットワークブロックの分離方法や、各ブロックで使用する補助ネットワークに関する決定が含まれる。 本研究では,ブロックワイズbpフリー(bwbpf)ニューラルネットワークを用いて,局所的エラー信号を利用して異なるサブニューラルネットワークを別々に最適化する手法を提案する。 bpフリーモデルで使用される局所的エラー信号は並列に計算でき、並列実装による重み付け更新プロセスの潜在的な高速化を可能にする。 CIFAR-10 や Tiny-ImageNet などのデータセット上で,VGG と ResNet のばらつきの伝達可能な疎結合アーキテクチャ,エンドツーエンドのバックプロパゲーションで訓練されたモデル,その他最先端のブロックワイズ学習技術で訓練されたモデル,などについて一貫した実験結果を得た。 コードはhttps://github.com/belis0811/bwbpfでリリースされる。

関連論文リスト

• Online Pseudo-Zeroth-Order Training of Neuromorphic Spiking Neural Networks [69.2642802272367]
  スパイクニューラルネットワーク(SNN)を用いた脳誘発ニューロモルフィックコンピューティングは、有望なエネルギー効率の計算手法である。 最近の手法では、空間的および時間的バックプロパゲーション(BP)を利用しており、ニューロモルフィックの性質に固執していない。 オンライン擬似ゼロオーダートレーニング(OPZO)を提案する。
  論文  参考訳（メタデータ） (2024-07-17T12:09:00Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Block-local learning with probabilistic latent representations [2.839567756494814]
  ロックとウェイトトランスポートは、トレーニングプロセスの効率的な並列化と水平スケーリングを防止するためである。 本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。 各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
  論文  参考訳（メタデータ） (2023-05-24T10:11:30Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• Decoupled Greedy Learning of CNNs for Synchronous and Asynchronous Distributed Learning [3.7722254371820987]
  Decoupled Greedy Learning (DGL)と呼ばれる,最小限のフィードバックに基づくシンプルな代替案を検討する。 近年,大規模な画像分類において,畳み込みニューラルネットワーク(CNN)の文脈で有効であることが示されている。 我々は、この手法が収束し、シーケンシャル・ソルバと比較されることを理論的、実証的に示す。
  論文  参考訳（メタデータ） (2021-06-11T13:55:17Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。