Fugu-MT 論文翻訳(概要): Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors

論文の概要: Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors

arxiv url: http://arxiv.org/abs/2405.11525v1
Date: Sun, 19 May 2024 11:36:45 GMT
ステータス: 処理完了
システム内更新日: 2024-05-21 15:22:21.048455
Title: Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors
Title（参考訳）: 合成アンカーによる分散化フェデレーション学習におけるデータとモデル不均一性の克服
Authors: Chun-Yin Huang, Kartik Srinivas, Xin Zhang, Xiaoxiao Li,
Abstract要約: 従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
参考スコア（独自算出の注目度）: 21.931436901703634
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Conventional Federated Learning (FL) involves collaborative training of a global model while maintaining user data privacy. One of its branches, decentralized FL, is a serverless network that allows clients to own and optimize different local models separately, which results in saving management and communication resources. Despite the promising advancements in decentralized FL, it may reduce model generalizability due to lacking a global model. In this scenario, managing data and model heterogeneity among clients becomes a crucial problem, which poses a unique challenge that must be overcome: How can every client's local model learn generalizable representation in a decentralized manner? To address this challenge, we propose a novel Decentralized FL technique by introducing Synthetic Anchors, dubbed as DeSA. Based on the theory of domain adaptation and Knowledge Distillation (KD), we theoretically and empirically show that synthesizing global anchors based on raw data distribution facilitates mutual knowledge transfer. We further design two effective regularization terms for local training: 1) REG loss that regularizes the distribution of the client's latent embedding with the anchors and 2) KD loss that enables clients to learn from others. Through extensive experiments on diverse client data distributions, we showcase the effectiveness of DeSA in enhancing both inter- and intra-domain accuracy of each client.
Abstract（参考訳）: 従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。ひとつのブランチである分散FLは、クライアントが異なるローカルモデルを個別に所有し、最適化できるサーバーレスネットワークで、管理と通信リソースの節約に繋がる。分散FLの有望な進歩にもかかわらず、グローバルモデルが欠如しているため、モデルの一般化性が低下する可能性がある。このシナリオでは、クライアント間のデータ管理とモデルの不均一性は決定的な問題となり、克服しなければならないユニークな課題を引き起こします。この課題に対処するため,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。ドメイン適応と知識蒸留(KD)の理論に基づき,生データ分布に基づくグローバルアンカーの合成が相互知識伝達を促進することを理論的かつ実証的に示す。さらに、局所訓練のための2つの効果的な正規化用語を設計する。 1)クライアントの潜伏したエンディングの分布をアンカーに調整するREG損失 2) クライアントが他人から学ぶことができるKD損失。多様なクライアントデータ分散に関する広範な実験を通じて、各クライアントのドメイン間精度とドメイン内精度を両立させるDeSAの有効性を示す。

関連論文リスト

Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
論文参考訳（メタデータ） (2024-09-24T03:59:32Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文参考訳（メタデータ） (2023-05-31T07:00:42Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文参考訳（メタデータ） (2022-07-20T04:55:18Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
GRP-FED: Addressing Client Imbalance in Federated Learning via Global-Regularized Personalization [6.592268037926868]
本稿では,データ不均衡問題に対処するため,Global-Regularized Personalization (GRP-FED)を提案する。適応アグリゲーションでは、グローバルモデルは複数のクライアントを公平に扱い、グローバルな長期的問題を緩和する。我々のGRP-FEDは,グローバルシナリオとローカルシナリオの両方で改善されている。
論文参考訳（メタデータ） (2021-08-31T14:09:04Z)
Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文参考訳（メタデータ） (2021-04-27T18:23:54Z)
FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
論文参考訳（メタデータ） (2021-01-27T10:10:18Z)
Decentralized Federated Learning via Mutual Knowledge Transfer [37.5341683644709]
分散型連合学習(DFL)は、モノのインターネット(IoT)システムにおける問題です。現地のクライアントが学習した知識を相互に転送することでモデルを融合させる相互知識伝達(Def-KT)アルゴリズムを提案します。 MNIST, Fashion-MNIST, CIFAR10データセットに対する実験により,提案アルゴリズムがベースラインDFL法を著しく上回るデータセットを明らかにした。
論文参考訳（メタデータ） (2020-12-24T01:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。