論文の概要: Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply

• arxiv url: http://arxiv.org/abs/2312.07636v1
• Date: Tue, 12 Dec 2023 10:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 17:45:19.140982
• Title: Go beyond End-to-End Training: Boosting Greedy Local Learning with Context Supply
• Title（参考訳）: エンド・ツー・エンドのトレーニングを超えて - コンテキストサプライによる欲張りなローカル学習の促進
• Authors: Chengting Yu, Fengzhao Zhang, Hanzhi Ma, Aili Wang and Erping Li
• Abstract要約: ゆるやかなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいて監督的に訓練する。 勾配分離モジュールのセグメンテーション数が増加するにつれて、局所学習方式の性能は大幅に低下する。 本稿では,情報損失を補うために,分離モジュール間のコンテキスト供給を組み込んだContSupスキームを提案する。
• 参考スコア（独自算出の注目度）: 0.12187048691454236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional end-to-end (E2E) training of deep networks necessitates storing intermediate activations for back-propagation, resulting in a large memory footprint on GPUs and restricted model parallelization. As an alternative, greedy local learning partitions the network into gradient-isolated modules and trains supervisely based on local preliminary losses, thereby providing asynchronous and parallel training methods that substantially reduce memory cost. However, empirical experiments reveal that as the number of segmentations of the gradient-isolated module increases, the performance of the local learning scheme degrades substantially, severely limiting its expansibility. To avoid this issue, we theoretically analyze the greedy local learning from the standpoint of information theory and propose a ContSup scheme, which incorporates context supply between isolated modules to compensate for information loss. Experiments on benchmark datasets (i.e. CIFAR, SVHN, STL-10) achieve SOTA results and indicate that our proposed method can significantly improve the performance of greedy local learning with minimal memory and computational overhead, allowing for the boost of the number of isolated modules. Our codes are available at https://github.com/Tab-ct/ContSup.
• Abstract（参考訳）: ディープネットワークの従来のエンドツーエンド(E2E)トレーニングでは、バックプロパゲーションの中間アクティベーションを格納する必要があるため、GPU上のメモリフットプリントが大きくなり、モデルの並列化が制限される。 代わりに、グリーディなローカル学習は、ネットワークを勾配に分離したモジュールに分割し、局所的な予備的損失に基づいてトレーニングし、メモリコストを大幅に削減する非同期および並列トレーニング方法を提供する。 しかし, 実験により, 勾配分離モジュールのセグメンテーション数が増加するにつれて, 局所学習方式の性能は著しく低下し, 拡張性が著しく低下することがわかった。 この問題を回避するために,情報理論の観点からの局所学習の欲望を理論的に分析し,情報損失を補償するために分離モジュール間のコンテキスト供給を組み込んだcontsupスキームを提案する。 ベンチマークデータセット (cifar, svhn, stl-10) における実験により, sotaの結果が得られ, 提案手法は, 最小メモリと計算オーバーヘッドで局所学習の性能を著しく向上し, 分離モジュール数を増加させることができることを示した。 私たちのコードはhttps://github.com/tab-ct/contsupで利用可能です。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• HPFF: Hierarchical Locally Supervised Learning with Patch Feature Fusion [7.9514535887836795]
  本稿では,階層的局所教師付き学習とパッチレベルの特徴を補助的ネットワーク上で実現する新しいモデルを提案する。 我々は, CIFAR-10, STL-10, SVHN, ImageNetのデータセットについて実験を行い, 提案したHPFFが従来の手法より有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2024-07-08T06:05:19Z)
• Towards Interpretable Deep Local Learning with Successive Gradient Reconciliation [70.43845294145714]
  グローバルバックプロパゲーション(BP)に対するニューラルネットワークトレーニングの信頼性の回復が、注目すべき研究トピックとして浮上している。 本稿では,隣接モジュール間の勾配調整を連続的に調整する局所的学習戦略を提案する。 提案手法はローカルBPとBPフリー設定の両方に統合できる。
  論文  参考訳（メタデータ） (2024-06-07T19:10:31Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Locally Supervised Learning with Periodic Global Guidance [19.41730292017383]
  ニューラルネットワークの局所的ロスに基づくトレーニングにおいて,グローバルな目的を反復的に再現するために,周期的ガイド付き局所学習(PGL)を提案する。 本稿では,メモリフットプリントが低い場合に,簡単な周期的ガイダンス方式によって大幅な性能向上が期待できることを示す。
  論文  参考訳（メタデータ） (2022-08-01T13:06:26Z)
• BackLink: Supervised Local Training with Backward Links [2.104758015212034]
  この研究は、モジュール間の後方依存性を導入し、モジュール間でエラーを流すことが可能な、新しいローカルトレーニングアルゴリズムであるBackLinkを提案する。 提案手法は,ResNet110のメモリコストを79%削減し,ResNet110のシミュレーションランタイムを52%削減する。
  論文  参考訳（メタデータ） (2022-05-14T21:49:47Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Revisiting Locally Supervised Learning: an Alternative to End-to-end Training [36.43515074019875]
  そこで我々は,情報伝達(InfoPro)損失を提案する。ローカルモジュールが可能な限り有用な情報を保存することを奨励する。 E2E トレーニングと比較して,InfoPro は 40% 未満のメモリフットプリントで競合性能を達成可能であることを示す。
  論文  参考訳（メタデータ） (2021-01-26T15:02:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。