Fugu-MT 論文翻訳(概要): Breaking the Memory Wall for Heterogeneous Federated Learning with Progressive Training

論文の概要: Breaking the Memory Wall for Heterogeneous Federated Learning with Progressive Training

arxiv url: http://arxiv.org/abs/2404.13349v1
Date: Sat, 20 Apr 2024 11:08:07 GMT
ステータス: 処理完了
システム内更新日: 2024-04-23 19:19:56.978441
Title: Breaking the Memory Wall for Heterogeneous Federated Learning with Progressive Training
Title（参考訳）: プログレッシブトレーニングによる不均一なフェデレーション学習のための記憶壁の破壊
Authors: Yebo Wu, Li Li, Chunlin Tian, Chengzhong Xu,
Abstract要約: ProFLはプログレッシブFLフレームワークで、オリジナルのアーキテクチャに基づいてモデルを異なるブロックに分割する。 ProFLはピークメモリのフットプリントを57.4%まで効果的に削減し、モデル精度を82.4%まで向上することを示した。
参考スコア（独自算出の注目度）: 17.622361560299368
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents ProFL, a novel progressive FL framework to effectively break the memory wall. Specifically, ProFL divides the model into different blocks based on its original architecture. Instead of updating the full model in each training round, ProFL first trains the front blocks and safely freezes them after convergence. Training of the next block is then triggered. This process iterates until the training of the whole model is completed. In this way, the memory footprint is effectively reduced for feasible deployment on heterogeneous devices. In order to preserve the feature representation of each block, we decouple the whole training process into two stages: progressive model shrinking and progressive model growing. During the progressive model shrinking stage, we meticulously design corresponding output modules to assist each block in learning the expected feature representation and obtain the initialization parameters. Then, the obtained output modules are utilized in the corresponding progressive model growing stage. Additionally, to control the training pace for each block, a novel metric from the scalar perspective is proposed to assess the learning status of each block and determines when to trigger the training of the next one. Finally, we theoretically prove the convergence of ProFL and conduct extensive experiments on representative models and datasets to evaluate the effectiveness of ProFL. The results demonstrate that ProFL effectively reduces the peak memory footprint by up to 57.4% and improves model accuracy by up to 82.4%.
Abstract（参考訳）: 本稿では,記憶壁を効果的に破壊する新しいプログレッシブFLフレームワークであるProFLを提案する。具体的には、ProFLはモデルを元のアーキテクチャに基づいて異なるブロックに分割する。各トレーニングラウンドでモデル全体を更新する代わりに、ProFLはまずフロントブロックをトレーニングし、収束後に安全に凍結する。次に次のブロックのトレーニングがトリガーされる。このプロセスは、モデル全体のトレーニングが完了するまで繰り返します。このようにして、異種デバイスへのデプロイが可能なメモリフットプリントを効果的に削減する。各ブロックの特徴的表現を維持するため、トレーニングプロセス全体を2段階に分けて、プログレッシブモデル縮小とプログレッシブモデル成長の2段階に分割する。プログレッシブモデル縮小段階において,各ブロックが期待する特徴表現を学習し,初期化パラメータを得るのを支援するために,対応する出力モジュールを慎重に設計する。そして、得られた出力モジュールを対応するプログレッシブモデル成長段階に利用する。さらに,各ブロックの学習速度を制御するために,スカラー視点による新しいメトリクスを提案し,各ブロックの学習状況を評価し,次のブロックの学習をいつトリガーするかを決定する。最後に, ProFLの収束性を理論的に証明し, ProFLの有効性を評価するために, 代表モデルおよびデータセットに関する広範な実験を行う。その結果、ProFLはピークメモリのフットプリントを57.4%まで効果的に削減し、モデル精度を82.4%まで改善した。

関連論文リスト

Transferable Post-training via Inverse Value Learning [83.75002867411263]
別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
論文参考訳（メタデータ） (2024-10-28T13:48:43Z)
FedRepOpt: Gradient Re-parametrized Optimizers in Federated Learning [17.642826635563946]
フェデレートラーニング(FL)は、エッジデバイス上で分散型に機械学習モデルをトレーニングするためのプライバシ保護手法として登場した。モデルのサイズが大きくなるにつれて、エッジデバイス上の勾配更新の頻度が減少し、最適なトレーニング結果が得られます。我々はこの問題に対処するため、FLのためにパラメータ化された勾配再パラメータであるFedRepOptを提案する。
論文参考訳（メタデータ） (2024-09-24T09:17:08Z)
SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。初期経路では、中間出力は反冗長動作によって統合される。遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文参考訳（メタデータ） (2024-07-10T10:22:35Z)
Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
論文参考訳（メタデータ） (2024-06-17T03:49:44Z)
Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文参考訳（メタデータ） (2024-06-06T17:59:09Z)
Minusformer: Improving Time Series Forecasting by Progressively Learning Residuals [14.741951369068877]
ユビキタス時系列(TS)予測モデルでは,過度なオーバーフィッティングが生じる傾向にある。本稿では,深層的なブースティング・アンサンブル学習手法である二重ストリーム・サブトラクション機構を提案する。提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
論文参考訳（メタデータ） (2024-02-04T03:54:31Z)
A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
本研究ではまず,ネットワークの計算冗長性について検討する。次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
論文参考訳（メタデータ） (2023-12-24T15:37:47Z)
The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
論文参考訳（メタデータ） (2023-09-20T10:31:17Z)
Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
論文参考訳（メタデータ） (2022-11-22T00:02:57Z)
FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning [18.357577491590686]
本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。 FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
論文参考訳（メタデータ） (2022-08-10T06:36:49Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。