論文の概要: Federated Learning with Intermediate Representation Regularization

• arxiv url: http://arxiv.org/abs/2210.15827v2
• Date: Thu, 20 Apr 2023 07:53:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 17:07:22.083361
• Title: Federated Learning with Intermediate Representation Regularization
• Title（参考訳）: 中間表現規則化によるフェデレーション学習
• Authors: Ye Lin Tun, Chu Myaet Thwal, Yu Min Park, Seong-Bae Park, Choong Seon Hong
• Abstract要約: フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。 従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。 我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
• 参考スコア（独自算出の注目度）: 14.01585596739954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In contrast to centralized model training that involves data collection, federated learning (FL) enables remote clients to collaboratively train a model without exposing their private data. However, model performance usually degrades in FL due to the heterogeneous data generated by clients of diverse characteristics. One promising strategy to maintain good performance is by limiting the local training from drifting far away from the global model. Previous studies accomplish this by regularizing the distance between the representations learned by the local and global models. However, they only consider representations from the early layers of a model or the layer preceding the output layer. In this study, we introduce FedIntR, which provides a more fine-grained regularization by integrating the representations of intermediate layers into the local training process. Specifically, FedIntR computes a regularization term that encourages the closeness between the intermediate layer representations of the local and global models. Additionally, FedIntR automatically determines the contribution of each layer's representation to the regularization term based on the similarity between local and global representations. We conduct extensive experiments on various datasets to show that FedIntR can achieve equivalent or higher performance compared to the state-of-the-art approaches. Our code is available at https://github.com/YLTun/FedIntR.
• Abstract（参考訳）: データ収集を伴う集中型モデルトレーニングとは対照的に、フェデレートドラーニング(FL)は、リモートクライアントがプライベートデータを公開せずにモデルを協調的にトレーニングすることを可能にする。 しかし、モデル性能は通常、多様な特性を持つクライアントによって生成される異種データのためにflで劣化する。 優れたパフォーマンスを維持するための有望な戦略の1つは、ローカルトレーニングがグローバルモデルから遠く離れることを制限することだ。 従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。 しかし、それらはモデルの初期層または出力層に先行する層からの表現のみを考える。 本研究では,中間層表現を局所的トレーニングプロセスに統合することにより,より細かい規則化を実現するfeedintrを提案する。 具体的には、FedIntRは局所モデルと大域モデルの中間層表現の近接性を促進する正規化項を計算する。 さらに、FedIntRは局所表現とグローバル表現の類似性に基づいて各レイヤの正規化項への表現の寄与を自動的に決定する。 我々は,feedintrが最先端のアプローチと同等以上の性能を達成できることを示すために,様々なデータセットを広範囲に実験した。 私たちのコードはhttps://github.com/YLTun/FedIntR.comで利用可能です。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
  Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。 本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-01-17T05:04:33Z)
• FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation [7.052566906745796]
  FedLPAは、フェデレートラーニングのための階層的な後続アグリゲーション手法である。 以上の結果から,FedLPAは最先端の手法よりも学習性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-09-30T10:51:27Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
  パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。 クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
  論文  参考訳（メタデータ） (2022-12-06T05:15:38Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
  Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。 我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。 異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
  論文  参考訳（メタデータ） (2022-05-27T00:55:24Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。