論文の概要: FedBRB: An Effective Solution to the Small-to-Large Scenario in Device-Heterogeneity Federated Learning

• arxiv url: http://arxiv.org/abs/2402.17202v1
• Date: Tue, 27 Feb 2024 04:50:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 17:41:17.990379
• Title: FedBRB: An Effective Solution to the Small-to-Large Scenario in Device-Heterogeneity Federated Learning
• Title（参考訳）: FedBRB:デバイス・ヘテロジニティ・フェデレーション学習における小規模から大規模シナリオの効果的な解決法
• Authors: Ziyue Xu, Mingfeng Xu, Tianchi Liao, Zibin Zheng and Chuan Chen
• Abstract要約: 最近のデバイス・ヘテロジニティ・フェデレーション・ラーニング・アプローチがこの分野を探求し始めている。 ブロック概念に基づくtextbfFedBRB (underlineBlock-wise underlineRolling and weighted underlineBroadcast) という手法を提案する。 実験では、FedBRBがかなりのパフォーマンス向上を実証し、このシナリオで最先端の結果を達成する。
• 参考スコア（独自算出の注目度）: 26.83118532664952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the success of large models has demonstrated the importance of scaling up model size. This has spurred interest in exploring collaborative training of large-scale models from federated learning perspective. Due to computational constraints, many institutions struggle to train a large-scale model locally. Thus, training a larger global model using only smaller local models has become an important scenario (i.e., the \textbf{small-to-large scenario}). Although recent device-heterogeneity federated learning approaches have started to explore this area, they face limitations in fully covering the parameter space of the global model. In this paper, we propose a method called \textbf{FedBRB} (\underline{B}lock-wise \underline{R}olling and weighted \underline{B}roadcast) based on the block concept. FedBRB can uses small local models to train all blocks of the large global model, and broadcasts the trained parameters to the entire space for faster information interaction. Experiments demonstrate FedBRB yields substantial performance gains, achieving state-of-the-art results in this scenario. Moreover, FedBRB using only minimal local models can even surpass baselines using larger local models.
• Abstract（参考訳）: 近年,大規模モデルの成功は,モデルサイズをスケールアップすることの重要性を示している。 このことが、連合学習の観点から大規模モデルの協調トレーニングの探求への関心を喚起した。 計算の制約のため、多くの機関は大規模モデルをローカルで訓練するのに苦労している。 したがって、より小さな局所モデルのみを用いてより大規模なグローバルモデルをトレーニングすることが重要なシナリオとなっている(つまり、textbf{small-to-large scenario})。 最近のデバイス・ヘテロジニティ・フェデレーション・ラーニング・アプローチはこの領域を探求し始めているが、グローバルモデルのパラメータ空間を完全にカバーすることの限界に直面している。 本稿では,ブロックの概念に基づいて,‘textbf{FedBRB}(\underline{B}lock-wise \underline{R}olling and weighted \underline{B}roadcast)という手法を提案する。 fedbrbは小さなローカルモデルを使用して、大きなグローバルモデルのすべてのブロックをトレーニングし、より高速な情報インタラクションのためにトレーニングされたパラメータを空間全体にブロードキャストすることができる。 実験はfeedbrbが実質的なパフォーマンス向上をもたらし、このシナリオで最先端の結果を得ることを示す。 さらに、最小限のローカルモデルのみを使用するFedBRBは、より大きなローカルモデルを使用するベースラインを超えることができる。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning [10.641875933652647]
  フェデレートラーニング(FL)は、協調機械学習を可能にする新しいアプローチである。 FLは、クライアント間で均一に分散されていない(非ID)データのために、課題に直面します。 本稿では,グローバルモデルからローカルモデルへの知識伝達を促進するフレームワークであるFedDistillを紹介する。
  論文  参考訳（メタデータ） (2024-04-14T10:23:30Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• FedOBD: Opportunistic Block Dropout for Efficiently Training Large-scale Neural Networks through Federated Learning [18.357577491590686]
  本稿では,大規模ニューラルネットワークを学習するためのFedOBD(Federated Opportunistic Block Dropout)アプローチを提案する。 FedOBDは大規模モデルをセマンティックブロックに分解し、FL参加者が偶然に量子化されたブロックをアップロードできるようにする。 実験によると、FedOBDは最高のパフォーマンスのベースラインアプローチに比べて、全体の通信オーバーヘッドを88%以上削減している。
  論文  参考訳（メタデータ） (2022-08-10T06:36:49Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization [16.704006420306353]
  スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。 本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。 我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
  論文  参考訳（メタデータ） (2021-11-29T16:11:09Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)
• FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
  フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。 したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。 我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-04T01:18:25Z)
• Federated Learning With Quantized Global Model Updates [84.55126371346452]
  モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。 本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-18T16:55:20Z)
• Think Locally, Act Globally: Federated Learning with Local and Global Representations [92.68484710504666]
  フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。 本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。 また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
  論文  参考訳（メタデータ） (2020-01-06T12:40:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。