Fugu-MT 論文翻訳(概要): FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion

論文の概要: FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion

arxiv url: http://arxiv.org/abs/2110.11027v1
Date: Thu, 21 Oct 2021 10:06:44 GMT
ステータス: 処理完了
システム内更新日: 2021-10-22 14:33:54.636249
Title: FedGEMS: Federated Learning of Larger Server Models via Selective Knowledge Fusion
Title（参考訳）: FedGEMS:選択的知識融合による大規模サーバモデルのフェデレーション学習
Authors: Sijie Cheng, Jingwen Wu, Yanghua Xiao, Yang Liu and Yang Liu
Abstract要約: フェデレートラーニング(FL)は、データをプライベートに保ちながらグローバルモデルを学ぶための実行可能なソリューションとして登場した。本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。
参考スコア（独自算出の注目度）: 19.86388925556209
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Today data is often scattered among billions of resource-constrained edge devices with security and privacy constraints. Federated Learning (FL) has emerged as a viable solution to learn a global model while keeping data private, but the model complexity of FL is impeded by the computation resources of edge nodes. In this work, we investigate a novel paradigm to take advantage of a powerful server model to break through model capacity in FL. By selectively learning from multiple teacher clients and itself, a server model develops in-depth knowledge and transfers its knowledge back to clients in return to boost their respective performance. Our proposed framework achieves superior performance on both server and client models and provides several advantages in a unified framework, including flexibility for heterogeneous client architectures, robustness to poisoning attacks, and communication efficiency between clients and server. By bridging FL effectively with larger server model training, our proposed paradigm paves ways for robust and continual knowledge accumulation from distributed and private data.
Abstract（参考訳）: 今日のデータは、セキュリティとプライバシーの制約のある何十億ものリソース制約のあるエッジデバイスに散らばっていることが多い。フェデレーション学習(federated learning, fl)は、データをプライベートに保ちながらグローバルモデルを学ぶための有効なソリューションとして登場したが、flのモデルの複雑さはエッジノードの計算リソースによって妨げられている。本研究では,FLのモデル容量を突破する強力なサーバモデルを活用するための新しいパラダイムについて検討する。複数の教師のクライアントとそれ自身から選択的に学習することで、サーバモデルは深い知識を発達させ、その知識をクライアントに転送し、それぞれのパフォーマンスを高める。提案フレームワークは,サーバモデルとクライアントモデルの両方において優れた性能を実現し,ヘテロジニアスクライアントアーキテクチャの柔軟性,中毒攻撃に対する堅牢性,クライアントとサーバ間の通信効率など,統一フレームワークにおけるいくつかの利点を提供する。 FLをより大規模なサーバモデルトレーニングで効果的にブリッジすることで、我々の提案パラダイムは、分散データとプライベートデータから堅牢で継続的な知識を蓄積する方法を舗装する。

関連論文リスト

Federated Learning with Flexible Architectures [12.800116749927266]
本稿では,フレキシブルアーキテクチャを用いたフェデレートラーニング(FedFA)について紹介する。 FedFAは、モデルアグリゲーション中に、クライアントのローカルアーキテクチャとFLシステムにおける最大のネットワークアーキテクチャを整合させるために、レイヤグラフト技術を導入している。
論文参考訳（メタデータ） (2024-06-14T09:44:46Z)
An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文参考訳（メタデータ） (2024-04-29T05:55:23Z)
Training Heterogeneous Client Models using Knowledge Distillation in Serverless Federated Learning [0.5510212613486574]
Federated Learning(FL)は、分散クライアント間で共有グローバルモデルの協調トレーニングを可能にする、新興の機械学習パラダイムである。効率的なFLのためのシステム設計に関する最近の研究は、サーバーレスコンピューティング技術を利用することで、リソース効率が向上し、トレーニングコストが削減され、データホルダの複雑なインフラストラクチャ管理負担が軽減されることを示した。
論文参考訳（メタデータ） (2024-02-11T20:15:52Z)
CLIP-guided Federated Learning on Heterogeneous and Long-Tailed Data [25.56641696086199]
フェデレートラーニング(FL)は、サーバがクライアントのグループと協力してクライアントのデータにアクセスせずにグローバルモデルを学ぶ、分散機械学習パラダイムを提供する。本稿では,CLIP誘導FL法(CLIP2FL)を提案する。
論文参考訳（メタデータ） (2023-12-14T04:07:49Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文参考訳（メタデータ） (2022-04-27T05:18:32Z)
No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文参考訳（メタデータ） (2022-02-16T13:03:27Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
Personalized Retrogress-Resilient Framework for Real-World Medical Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文参考訳（メタデータ） (2021-10-01T13:24:29Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。