論文の概要: FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning
- arxiv url: http://arxiv.org/abs/2208.05174v5
- Date: Mon, 7 Aug 2023 14:37:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-09 00:59:13.632774
- Title: FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale
Neural Networks through Federated Learning
- Title（参考訳）: FedOBD:フェデレーションラーニングによる大規模ニューラルネットワークの効率的なトレーニングのための機会論的ブロックドロップアウト
- Authors: Yuanyuan Chen, Zichen Chen, Pengcheng Wu, Han Yu
- Abstract要約: 本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。
実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
- 参考スコア（独自算出の注目度）: 18.357577491590686
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale neural networks possess considerable expressive power. They are
well-suited for complex learning tasks in industrial applications. However,
large-scale models pose significant challenges for training under the current
Federated Learning (FL) paradigm. Existing approaches for efficient FL training
often leverage model parameter dropout. However, manipulating individual model
parameters is not only inefficient in meaningfully reducing the communication
overhead when training large-scale FL models, but may also be detrimental to
the scaling efforts and model performance as shown by recent research. To
address these issues, we propose the Federated Opportunistic Block Dropout
(FedOBD) approach. The key novelty is that it decomposes large-scale models
into semantic blocks so that FL participants can opportunistically upload
quantized blocks, which are deemed to be significant towards training the
model, to the FL server for aggregation. Extensive experiments evaluating
FedOBD against four state-of-the-art approaches based on multiple real-world
datasets show that it reduces the overall communication overhead by more than
88% compared to the best performing baseline approach, while achieving the
highest test accuracy. To the best of our knowledge, FedOBD is the first
approach to perform dropout on FL models at the block level rather than at the
individual parameter level.
- Abstract（参考訳）: 大規模ニューラルネットワークは相当な表現力を持っている。
工業アプリケーションにおける複雑な学習タスクに適している。
しかしながら、大規模モデルは、現在の連合学習(fl)パラダイムの下で、トレーニングに重大な課題をもたらす。
効率的なFLトレーニングのための既存のアプローチは、しばしばモデルパラメータのドロップアウトを利用する。
しかし、個々のモデルパラメータを操作することは、大規模FLモデルを訓練する際の通信オーバーヘッドを有意義に削減するだけでなく、最近の研究で示されているように、スケーリングの取り組みやモデル性能にも寄与する可能性がある。
これらの問題に対処するため,FedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。
鍵となる新規性は、大規模モデルをセマンティックブロックに分解し、FL参加者が、モデルのトレーニングにおいて重要と思われる量子化されたブロックをFLサーバにアップロードして集約できるようにすることである。
複数の実世界のデータセットに基づく4つの最先端アプローチに対するfeedobdの評価実験は、最高のパフォーマンスのベースラインアプローチと比較して、全体の通信オーバーヘッドを88%以上削減し、最も高いテスト精度を達成していることを示している。
我々の知る限りでは、FedOBDは個々のパラメータレベルではなくブロックレベルでFLモデルのドロップアウトを実行するための最初のアプローチである。
関連論文リスト
- A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Straggler-resilient Federated Learning: Tackling Computation
Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。
したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。
実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2023-11-16T16:30:04Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳（メタデータ） (2023-08-15T13:29:14Z) - Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。
NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
論文 参考訳（メタデータ） (2023-06-06T18:02:02Z) - Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [13.87836045022214]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。
最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。
FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか?
具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文 参考訳（メタデータ） (2022-10-04T16:08:54Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Communication-Efficient Diffusion Strategy for Performance Improvement
of Federated Learning with Non-IID Data [10.112913394578703]
フェデレートラーニング(FL)は、集中学習におけるプライバシー漏洩問題に対処する新しい学習パラダイムである。
FLでは,非独立かつ同一に分散した(非IID)特性を持つユーザは,グローバルモデルの性能を低下させる可能性がある。
非IIDデータを用いたFL性能を最大化するために,機械学習モデル(FedDif)の新たな拡散戦略を提案する。
論文 参考訳（メタデータ） (2022-07-15T14:28:41Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。