論文の概要: FedTrans: Efficient Federated Learning via Multi-Model Transformation
- arxiv url: http://arxiv.org/abs/2404.13515v2
- Date: Thu, 25 Apr 2024 20:34:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 15:13:44.243892
- Title: FedTrans: Efficient Federated Learning via Multi-Model Transformation
- Title（参考訳）: FedTrans: マルチモデル変換による効果的なフェデレーション学習
- Authors: Yuxuan Zhu, Jiachen Liu, Mosharaf Chowdhury, Fan Lai,
- Abstract要約: Federated Learning (FL)は、数百万のエッジクライアントデバイスで機械学習(ML)モデルをトレーニングすることを目的としている。
FedTransはマルチモデルFLトレーニングフレームワークで、個々のクライアントに対して高精度でハードウェア互換のモデルを自動生成し、トレーニングする。
我々の評価では、FedTransは、最先端ソリューションよりもトレーニングコストを1.6倍から20倍削減しながら、個々のクライアントモデルの精度を14%から72%向上させています。
- 参考スコア（独自算出の注目度）: 21.21314301021803
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) aims to train machine learning (ML) models across potentially millions of edge client devices. Yet, training and customizing models for FL clients is notoriously challenging due to the heterogeneity of client data, device capabilities, and the massive scale of clients, making individualized model exploration prohibitively expensive. State-of-the-art FL solutions personalize a globally trained model or concurrently train multiple models, but they often incur suboptimal model accuracy and huge training costs. In this paper, we introduce FedTrans, a multi-model FL training framework that automatically produces and trains high-accuracy, hardware-compatible models for individual clients at scale. FedTrans begins with a basic global model, identifies accuracy bottlenecks in model architectures during training, and then employs model transformation to derive new models for heterogeneous clients on the fly. It judiciously assigns models to individual clients while performing soft aggregation on multi-model updates to minimize total training costs. Our evaluations using realistic settings show that FedTrans improves individual client model accuracy by 14% - 72% while slashing training costs by 1.6X - 20X over state-of-the-art solutions.
- Abstract（参考訳）: Federated Learning(FL)は、マシンラーニング(ML)モデルを、潜在的に数百万のエッジクライアントデバイスにわたってトレーニングすることを目的としている。
しかし、FLクライアントのモデルのトレーニングとカスタマイズは、クライアントデータの不均一性、デバイス機能、および大規模なクライアントの規模のために、非常に難しいことで知られています。
最先端のFLソリューションは、グローバルに訓練されたモデルをパーソナライズしたり、複数のモデルを同時に訓練する。
本稿では,FedTransについて紹介する。FedTransは,大規模クライアントに対して,高精度でハードウェア互換のモデルを自動生成し,訓練するマルチモデルFLトレーニングフレームワークである。
FedTransは、基本的なグローバルモデルから始まり、トレーニング中のモデルアーキテクチャの精度ボトルネックを特定し、それからモデル変換を使用して、不均一なクライアントのための新しいモデルを即座に導き出す。
トレーニングコストを最小化するために、マルチモデルの更新でソフトアグリゲーションを実行しながら、個々のクライアントにモデルを不正に割り当てる。
現実的な設定を用いた評価では、FedTransは、最先端ソリューションよりもトレーニングコストを1.6倍から20倍に削減しながら、個々のクライアントモデルの精度を14%から72%向上させています。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - Client-supervised Federated Learning: Towards One-model-for-all Personalization [28.574858341430858]
FLシステムにおける未確認/テストクライアント上のパーソナライズされたモデルと競合する性能を達成するために,単一の堅牢なグローバルモデルのみを学習する新しいフェデレーション学習フレームワークを提案する。
具体的には、新しいクライアント監督型フェデレートラーニング(FedCS)を設計し、クライアントの潜在表現に対するバイアスを解消し、グローバルモデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるようにする。
論文 参考訳（メタデータ） (2024-03-28T15:29:19Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Latency Aware Semi-synchronous Client Selection and Model Aggregation
for Wireless Federated Learning [0.6882042556551609]
Federated Learning(FL)は、機械学習モデルのトレーニングプロセスに参加するために異なるクライアント(IoTデバイスなど)を必要とする、協調的な機械学習フレームワークである。
従来のFLプロセスは、異種クライアント設定のストラグラー問題に悩まされる可能性がある。
本稿では,すべてのクライアントがFLプロセス全体に参加することができるが周波数の異なるフェデレートリールネーリング(LESSON)法に対して,セミ同期クライアント選択とmOdelアグリゲーションアグリゲーションを提案する。
論文 参考訳（メタデータ） (2022-10-19T05:59:22Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Personalized Retrogress-Resilient Framework for Real-World Medical
Federated Learning [8.240098954377794]
本稿では,各クライアントに対して優れたパーソナライズモデルを生成するために,パーソナライズされた回帰耐性フレームワークを提案する。
実世界の皮膚内視鏡的FLデータセットに関する実験により、我々のパーソナライズされた回帰抵抗性フレームワークが最先端のFL手法より優れていることが証明された。
論文 参考訳（メタデータ） (2021-10-01T13:24:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。