論文の概要: FedIN: Federated Intermediate Layers Learning for Model Heterogeneity
- arxiv url: http://arxiv.org/abs/2304.00759v2
- Date: Wed, 12 Apr 2023 07:06:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-13 17:33:18.312965
- Title: FedIN: Federated Intermediate Layers Learning for Model Heterogeneity
- Title（参考訳）: FedIN: モデル不均一性のためのフェデレーション中間層学習
- Authors: Yun-Hin Chan, Zhihan Jiang, Jing Deng, Edith C.-H. Ngai
- Abstract要約: フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
本稿では,FedIN(Federated Intermediate Layers Learning)と呼ばれる新しいFL手法を提案する。
実験結果から,FedINは異種モデル環境において,最先端のアルゴリズムと比較して最高の性能を発揮することがわかった。
- 参考スコア（独自算出の注目度）: 3.5371513965260495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) facilitates edge devices to cooperatively train a
global shared model while maintaining the training data locally and privately.
However, a common but impractical assumption in FL is that the participating
edge devices possess the same required resources and share identical global
model architecture. In this study, we propose a novel FL method called
Federated Intermediate Layers Learning (FedIN), supporting heterogeneous models
without utilizing any public dataset. The training models in FedIN are divided
into three parts, including an extractor, the intermediate layers, and a
classifier. The model architectures of the extractor and classifier are the
same in all devices to maintain the consistency of the intermediate layer
features, while the architectures of the intermediate layers can vary for
heterogeneous devices according to their resource capacities. To exploit the
knowledge from features, we propose IN training, training the intermediate
layers in line with the features from other clients. Additionally, we formulate
and solve a convex optimization problem to mitigate the gradient divergence
problem induced by the conflicts between the IN training and the local
training. The experiment results show that FedIN achieves the best performance
in the heterogeneous model environment compared with the state-of-the-art
algorithms. Furthermore, our ablation study demonstrates the effectiveness of
IN training and the solution to the convex optimization problem.
- Abstract（参考訳）: フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。
しかし、FLにおける一般的だが非現実的な仮定は、参加するエッジデバイスは同じリソースを持ち、同じグローバルモデルアーキテクチャを共有することである。
本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれる新しいFL手法を提案する。
FedINのトレーニングモデルは、抽出器、中間層、分類器を含む3つの部分に分けられる。
抽出器と分類器のモデルアーキテクチャは、中間層の特徴の一貫性を維持するためにすべてのデバイスで同じであるが、中間層のアーキテクチャはリソース容量に応じて異種デバイスに対して異なる。
特徴から知識を生かすため、我々は、他のクライアントの機能に合わせて中間層を訓練し、訓練することを提案する。
さらに,INトレーニングと局所トレーニングの競合によって引き起こされる勾配分散問題を緩和するため,凸最適化問題を定式化し,解決する。
実験結果から,FedINは異種モデル環境において,最先端のアルゴリズムと比較して最高の性能を発揮することが示された。
さらに,本研究では,イントレーニングの有効性と凸最適化問題に対する解法を示す。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。
我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
論文 参考訳（メタデータ） (2024-05-29T10:56:13Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Effectively Heterogeneous Federated Learning: A Pairing and Split
Learning Based Approach [16.093068118849246]
本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。
グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。
シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
論文 参考訳（メタデータ） (2023-08-26T11:10:54Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - Federated Learning with Intermediate Representation Regularization [14.01585596739954]
フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。
従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。
我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
論文 参考訳（メタデータ） (2022-10-28T01:43:55Z) - FedClassAvg: Local Representation Learning for Personalized Federated
Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。
FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。
異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文 参考訳（メタデータ） (2022-10-25T08:32:08Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。
この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文 参考訳（メタデータ） (2020-03-28T19:55:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。