論文の概要: Go beyond End-to-End Training: Boosting Greedy Local Learning with
Context Supply
- arxiv url: http://arxiv.org/abs/2312.07636v1
- Date: Tue, 12 Dec 2023 10:25:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 17:45:19.140982
- Title: Go beyond End-to-End Training: Boosting Greedy Local Learning with
Context Supply
- Title(参考訳): エンド・ツー・エンドのトレーニングを超えて - コンテキストサプライによる欲張りなローカル学習の促進
- Authors: Chengting Yu, Fengzhao Zhang, Hanzhi Ma, Aili Wang and Erping Li
- Abstract要約: ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。
勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。
本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
- 参考スコア(独自算出の注目度): 0.12187048691454236
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Traditional end-to-end (E2E) training of deep networks necessitates storing
intermediate activations for back-propagation, resulting in a large memory
footprint on GPUs and restricted model parallelization. As an alternative,
greedy local learning partitions the network into gradient-isolated modules and
trains supervisely based on local preliminary losses, thereby providing
asynchronous and parallel training methods that substantially reduce memory
cost. However, empirical experiments reveal that as the number of segmentations
of the gradient-isolated module increases, the performance of the local
learning scheme degrades substantially, severely limiting its expansibility. To
avoid this issue, we theoretically analyze the greedy local learning from the
standpoint of information theory and propose a ContSup scheme, which
incorporates context supply between isolated modules to compensate for
information loss. Experiments on benchmark datasets (i.e. CIFAR, SVHN, STL-10)
achieve SOTA results and indicate that our proposed method can significantly
improve the performance of greedy local learning with minimal memory and
computational overhead, allowing for the boost of the number of isolated
modules. Our codes are available at https://github.com/Tab-ct/ContSup.
- Abstract(参考訳): ディープネットワークの従来のエンドツーエンド(E2E)トレーニングでは、バックプロパゲーションの中間アクティベーションを格納する必要があるため、GPU上のメモリフットプリントが大きくなり、モデルの並列化が制限される。
代わりに、グリーディなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいてトレーニングし、メモリコストを大幅に削減する非同期および並列トレーニング方法を提供する。
しかし, 実験により, 勾配分離モジュールのセグメンテーション数が増加するにつれて, 局所学習方式の性能は著しく低下し, 拡張性が著しく低下することがわかった。
この問題を回避するために,情報理論の観点からの局所学習の欲望を理論的に分析し,情報損失を補償するために分離モジュール間のコンテキスト供給を組み込んだcontsupスキームを提案する。
ベンチマークデータセット (cifar, svhn, stl-10) における実験により, sotaの結果が得られ, 提案手法は, 最小メモリと計算オーバーヘッドで局所学習の性能を著しく向上し, 分離モジュール数を増加させることができることを示した。
私たちのコードはhttps://github.com/tab-ct/contsupで利用可能です。
関連論文リスト
- Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - Module-wise Training of Neural Networks via the Minimizing Movement
Scheme [15.315147138002153]
階層的あるいはモジュール的なニューラルネットワークのトレーニングは、メモリが制限された制約付きデバイス上の設定において魅力的なものだ。
分布空間における勾配流の最小化運動スキームに着想を得たモジュールワイズ正規化を提案する。
本稿では,ResNetsやTransformer,VGGといった各種アーキテクチャのモジュールワイドトレーニングにおいて,正規化が加えられた際の精度の向上を示す。
論文 参考訳(メタデータ) (2023-09-29T16:03:25Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳(メタデータ) (2023-09-29T13:09:40Z) - Decouple Graph Neural Networks: Train Multiple Simple GNNs
Simultaneously Instead of One [82.91940450061445]
グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。
我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。
提案するフレームワークは,合理的な性能で高い効率性を示す。
論文 参考訳(メタデータ) (2023-04-20T07:21:32Z) - Unifying Synergies between Self-supervised Learning and Dynamic
Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。
SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。
密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文 参考訳(メタデータ) (2023-01-22T17:12:58Z) - Local Learning with Neuron Groups [15.578925277062657]
局所学習はモデル並列性に対するアプローチであり、標準のエンドツーエンドの学習設定を取り除く。
本研究では,局所学習をレイヤやモジュールをサブコンポーネントに分割する方法について検討する。
論文 参考訳(メタデータ) (2023-01-18T16:25:10Z) - Locally Supervised Learning with Periodic Global Guidance [19.41730292017383]
ニューラルネットワークの局所的ロスに基づくトレーニングにおいて,グローバルな目的を反復的に再現するために,周期的ガイド付き局所学習(PGL)を提案する。
本稿では,メモリフットプリントが低い場合に,簡単な周期的ガイダンス方式によって大幅な性能向上が期待できることを示す。
論文 参考訳(メタデータ) (2022-08-01T13:06:26Z) - BackLink: Supervised Local Training with Backward Links [2.104758015212034]
この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことが可能な、新しいローカルトレーニングアルゴリズムであるBackLinkを提案する。
提案手法は,ResNet110のメモリコストを79%削減し,ResNet110のシミュレーションランタイムを52%削減する。
論文 参考訳(メタデータ) (2022-05-14T21:49:47Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳(メタデータ) (2021-02-03T09:30:45Z) - Revisiting Locally Supervised Learning: an Alternative to End-to-end
Training [36.43515074019875]
そこで我々は,情報伝達(InfoPro)損失を提案する。ローカルモジュールが可能な限り有用な情報を保存することを奨励する。
E2E トレーニングと比較して,InfoPro は 40% 未満のメモリフットプリントで競合性能を達成可能であることを示す。
論文 参考訳(メタデータ) (2021-01-26T15:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。