論文の概要: FedIN: Federated Intermediate Layers Learning for Model Heterogeneity
- arxiv url: http://arxiv.org/abs/2304.00759v3
- Date: Thu, 1 Feb 2024 10:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 19:47:49.239132
- Title: FedIN: Federated Intermediate Layers Learning for Model Heterogeneity
- Title（参考訳）: FedIN: モデル不均一性のためのフェデレーション中間層学習
- Authors: Yun-Hin Chan, Zhihan Jiang, Jing Deng, Edith C.-H. Ngai
- Abstract要約: フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。
実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
- 参考スコア（独自算出の注目度）: 7.781409257429762
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) facilitates edge devices to cooperatively train a
global shared model while maintaining the training data locally and privately.
However, a common assumption in FL requires the participating edge devices to
have similar computation resources and train on an identical global model
architecture. In this study, we propose an FL method called Federated
Intermediate Layers Learning (FedIN), supporting heterogeneous models without
relying on any public dataset. Instead, FedIN leverages the inherent knowledge
embedded in client model features to facilitate knowledge exchange. The
training models in FedIN are partitioned into three distinct components: an
extractor, intermediate layers, and a classifier. We capture client features by
extracting the outputs of the extractor and the inputs of the classifier. To
harness the knowledge from client features, we propose IN training for aligning
the intermediate layers based on features obtained from other clients. IN
training only needs minimal memory and communication overhead by utilizing a
single batch of client features. Additionally, we formulate and address a
convex optimization problem to mitigate the challenge of gradient divergence
caused by conflicts between IN training and local training. The experiment
results demonstrate the superior performance of FedIN in heterogeneous model
environments compared to state-of-the-art algorithms. Furthermore, our ablation
study demonstrates the effectiveness of IN training and the proposed solution
for alleviating gradient divergence.
- Abstract（参考訳）: フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
しかし、FLの一般的な前提は、参加するエッジデバイスが同様の計算資源を持ち、同じグローバルモデルアーキテクチャでトレーニングすることである。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。
代わりにFedINは、知識交換を容易にするために、クライアントモデル機能に埋め込まれた固有の知識を活用する。
FedINのトレーニングモデルは、抽出器、中間層、分類器の3つの異なるコンポーネントに分けられる。
抽出器の出力と分類器の入力を抽出することでクライアントの特徴を捉える。
クライアント機能からの知識を活用するために,他のクライアントから得られた特徴に基づいて中間層を整列するトレーニングを提案する。
トレーニングでは、単一のクライアント機能を利用すれば、最小限のメモリと通信オーバーヘッドしか必要ありません。
さらに,INトレーニングとローカルトレーニングの相違による勾配分散の課題を軽減するため,凸最適化問題を定式化し,対処する。
実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
さらに,本研究は,INトレーニングの有効性を実証し,勾配分散を緩和する手法を提案する。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。
我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-05-29T10:56:13Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Federated Learning with Intermediate Representation Regularization [14.01585596739954]
フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。
従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。
我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
論文 参考訳（メタデータ） (2022-10-28T01:43:55Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。