論文の概要: Block-local learning with probabilistic latent representations
- arxiv url: http://arxiv.org/abs/2305.14974v2
- Date: Fri, 27 Oct 2023 19:02:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:16:21.274173
- Title: Block-local learning with probabilistic latent representations
- Title（参考訳）: 確率的潜在表現を用いたブロック局所学習
- Authors: David Kappel, Khaleelulla Khan Nazeer, Cabrel Teguemne Fokam,
Christian Mayr, Anand Subramoney
- Abstract要約: ロックとウェイトトランスポートは、トレーニングプロセスの効率的な並列化と水平スケーリングを防止するためである。
本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。
各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
- 参考スコア（独自算出の注目度）: 2.839567756494814
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The ubiquitous backpropagation algorithm requires sequential updates through
the network introducing a locking problem. In addition, back-propagation relies
on the transpose of forward weight matrices to compute updates, introducing a
weight transport problem across the network. Locking and weight transport are
problems because they prevent efficient parallelization and horizontal scaling
of the training process. We propose a new method to address both these problems
and scale up the training of large models. Our method works by dividing a deep
neural network into blocks and introduces a feedback network that propagates
the information from the targets backwards to provide auxiliary local losses.
Forward and backward propagation can operate in parallel and with different
sets of weights, addressing the problems of locking and weight transport. Our
approach derives from a statistical interpretation of training that treats
output activations of network blocks as parameters of probability
distributions. The resulting learning framework uses these parameters to
evaluate the agreement between forward and backward information. Error
backpropagation is then performed locally within each block, leading to
"block-local" learning. Several previously proposed alternatives to error
backpropagation emerge as special cases of our model. We present results on a
variety of tasks and architectures, demonstrating state-of-the-art performance
using block-local learning. These results provide a new principled framework
for training networks in a distributed setting.
- Abstract（参考訳）: ユビキタスなバックプロパゲーションアルゴリズムは、ロック問題を導入するネットワークを通じた逐次更新を必要とする。
さらに、バックプロパゲーションは、更新を計算するために前方の重み行列の変換に依存しており、ネットワーク全体に重み輸送の問題をもたらす。
ロックと重量輸送は、訓練プロセスの効率的な並列化と水平スケーリングを防止するためである。
本稿では,これらの問題に対処し,大規模モデルのトレーニングをスケールアップするための新しい手法を提案する。
本手法では,深層ニューラルネットワークをブロックに分割し,対象から情報を後方に伝播して局所的損失を補助するフィードバックネットワークを導入する。
前向きおよび後向きの伝搬は、ロックと重量輸送の問題に対処するため、異なる重みセットで平行に動作することができる。
提案手法は,ネットワークブロックの出力活性化を確率分布のパラメータとして扱う訓練の統計的解釈から導かれる。
得られた学習フレームワークは、これらのパラメータを使用して前方情報と後方情報の間の合意を評価する。
エラーバックプロパゲーションは各ブロック内でローカルに実行されるため、"ブロックローカル"学習につながる。
従来提案されていた誤りのバックプロパゲーションの代替案が,本モデルの特別な事例として現れている。
各種タスクやアーキテクチャについて,ブロック局所学習を用いた最先端性能の実証を行った。
これらの結果は分散環境でネットワークをトレーニングするための新しい原則付きフレームワークを提供する。
関連論文リスト
- Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。
このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。
得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文 参考訳（メタデータ） (2024-10-28T13:48:43Z) - Momentum Auxiliary Network for Supervised Local Learning [7.5717621206854275]
改良されたローカル学習セグメントは、独立した補助ネットワークによって更新された複数のローカルブロックにネットワークを分割する。
動的相互作用機構を確立するためのMAN(Momentum Auxiliary Network)を提案する。
エンドツーエンドのトレーニングに比べて,ImageNetデータセットではGPUメモリ使用率を45%以上削減できる。
論文 参考訳（メタデータ） (2024-07-08T05:31:51Z) - Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。
我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
論文 参考訳（メタデータ） (2024-04-04T06:24:11Z) - Unlocking Deep Learning: A BP-Free Approach for Parallel Block-Wise
Training of Neural Networks [9.718519843862937]
ブロックワイズBPフリー(BWBPF)ニューラルネットワークを導入し、局所誤差信号を利用してサブニューラルネットワークを個別に最適化する。
実験結果から,VGGとResNetのバラツキに対して,トランスファー可能な疎結合アーキテクチャを同定できることがわかった。
論文 参考訳（メタデータ） (2023-12-20T08:02:33Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。
FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。
我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
論文 参考訳（メタデータ） (2023-03-17T02:01:11Z) - Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。
我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
論文 参考訳（メタデータ） (2022-11-22T00:02:57Z) - Block-wise Training of Residual Networks via the Minimizing Movement
Scheme [10.342408668490975]
本研究では,分散空間における勾配流の最小化運動スキームに着想を得たレイヤワイドトレーニング手法を開発した。
この方法は各ブロックの運動エネルギー正則化に比例し、ブロックを最適な輸送マップとし、それらを規則性で与える。
これは、レイヤーワイドトレーニングで観測される停滞問題を緩和することで機能し、強欲に訓練された初期の層が過度に適合し、深い層が一定の深さの後にテストの精度を高めるのを阻止する。
論文 参考訳（メタデータ） (2022-10-03T14:03:56Z) - Transfer Learning via Test-Time Neural Networks Aggregation [11.42582922543676]
ディープニューラルネットワークが従来の機械学習より優れていることが示されている。
ディープ・ネットワークは一般性に欠けており、異なる分布から引き出された新しい(テスト)セットでは性能が良くない。
論文 参考訳（メタデータ） (2022-06-27T15:46:05Z) - Forgetting Outside the Box: Scrubbing Deep Networks of Information
Accessible from Input-Output Observations [143.3053365553897]
本稿では、訓練された深層ネットワークからトレーニングデータのコホートへの依存を取り除く手順について述べる。
忘れられたコホートについて,クエリ毎にどれだけの情報を取り出すことができるか,という新たな境界を導入する。
我々は,ニューラルタンジェントカーネルにインスパイアされたDNNのアクティベーションとウェイトダイナミクスの接続を利用して,アクティベーションの情報を計算する。
論文 参考訳（メタデータ） (2020-03-05T23:17:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。