論文の概要: Ensemble Distillation for Robust Model Fusion in Federated Learning

• arxiv url: http://arxiv.org/abs/2006.07242v3
• Date: Sat, 27 Mar 2021 16:31:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 03:00:20.182065
• Title: Ensemble Distillation for Robust Model Fusion in Federated Learning
• Title（参考訳）: フェデレーション学習におけるロバストモデル融合のためのアンサンブル蒸留
• Authors: Tao Lin, Lingjing Kong, Sebastian U. Stich, Martin Jaggi
• Abstract要約: Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
• 参考スコア（独自算出の注目度）: 72.61259487233214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a machine learning setting where many devices collaboratively train a machine learning model while keeping the training data decentralized. In most of the current training schemes the central model is refined by averaging the parameters of the server model and the updated parameters from the client side. However, directly averaging model parameters is only possible if all models have the same structure and size, which could be a restrictive constraint in many scenarios. In this work we investigate more powerful and more flexible aggregation schemes for FL. Specifically, we propose ensemble distillation for model fusion, i.e. training the central classifier through unlabeled data on the outputs of the models from the clients. This knowledge distillation technique mitigates privacy risk and cost to the same extent as the baseline FL algorithms, but allows flexible aggregation over heterogeneous client models that can differ e.g. in size, numerical precision or structure. We show in extensive empirical experiments on various CV/NLP datasets (CIFAR-10/100, ImageNet, AG News, SST2) and settings (heterogeneous models/data) that the server model can be trained much faster, requiring fewer communication rounds than any existing FL technique so far.
• Abstract（参考訳）: Federated Learning(FL)は、多くのデバイスがトレーニングデータを分散化しながら、機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均することで、中央モデルを洗練します。 しかし、モデルパラメーターを平均化することは、すべてのモデルが同じ構造とサイズを持つ場合のみ可能であり、多くのシナリオにおいて制限的な制約となる可能性がある。 本研究では,flのより強力で柔軟な集約方式について検討する。 具体的には,モデル融合のためのアンサンブル蒸留,すなわち,クライアントからのモデル出力のラベルなしデータによる中央分類器の訓練を提案する。 この知識蒸留技術は、プライバシーリスクとコストを基準となるFLアルゴリズムと同じ程度に軽減するが、サイズ、数値精度、構造などが異なる異種クライアントモデルに対して柔軟な集約を可能にする。 各種CV/NLPデータセット(CIFAR-10/100, ImageNet, AG News, SST2)と設定(異種モデル/データ)について広範な実験を行い、サーバモデルをより高速に訓練でき、既存のFL技術よりも通信ラウンドが少ないことを示した。

関連論文リスト

• Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting [76.64235084279292]
  ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。 合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
  論文  参考訳（メタデータ） (2024-02-23T03:15:10Z)
• NeFL: Nested Model Scaling for Federated Learning with System Heterogeneous Clients [44.89061671579694]
  フェデレートラーニング(FL)は、データのプライバシを保ちながら分散トレーニングを可能にするが、ストラグラーのスローあるいは無効なクライアントは、トレーニング時間を大幅に短縮し、パフォーマンスを低下させる。 深層ニューラルネットワークを深層スケールと幅ワイドスケーリングの両方を用いてサブモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。 NeFLは、特に最低ケースのサブモデルでは、ベースラインアプローチに比べてパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-08-15T13:29:14Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• FedRolex: Model-Heterogeneous Federated Learning with Rolling Sub-Model Extraction [16.160943049655664]
  FedRolexは、モデル不均一なFLを可能にし、最大のクライアントモデルよりも大きなグローバルサーバモデルをトレーニングできる部分的なトレーニングアプローチである。 我々は、FedRolexが、最先端のPTベースのモデル不均一FL法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T06:04:11Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Multi-Model Federated Learning with Provable Guarantees [19.470024548995717]
  Federated Learning (FL) は分散学習の亜種であり、デバイスは中央サーバや互いにデータを共有せずにモデルを学習する。 多モデルエッジFLとして,クライアントの共通プールを用いたフェデレーション設定において,複数の独立クライアントの処理を同時に参照する。
  論文  参考訳（メタデータ） (2022-07-09T19:47:52Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Federated learning with hierarchical clustering of local updates to improve training on non-IID data [3.3517146652431378]
  一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。 階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。 FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
  論文  参考訳（メタデータ） (2020-04-24T15:16:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。