論文の概要: FedSKC: Federated Learning with Non-IID Data via Structural Knowledge Collaboration

• arxiv url: http://arxiv.org/abs/2505.18981v1
• Date: Sun, 25 May 2025 05:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.807973
• Title: FedSKC: Federated Learning with Non-IID Data via Structural Knowledge Collaboration
• Title（参考訳）: FedSKC:構造的知識コラボレーションによる非IIDデータによるフェデレーション学習
• Authors: Huan Wang, Haoran Li, Huaming Chen, Jun Yan, Lijuan Wang, Jiahua Shi, Shiping Chen, Jun Shen,
• Abstract要約: FedSKCのキーとなるアイデアは、相互依存関係データ分散からドメインの好みを抽出し、転送することである。 FedSKCは、コントラスト学習、グローバルな不一致集約、グローバルな期間レビューの3つのコンポーネントで構成されている。
• 参考スコア（独自算出の注目度）: 43.25824181502647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the advancement of edge computing, federated learning (FL) displays a bright promise as a privacy-preserving collaborative learning paradigm. However, one major challenge for FL is the data heterogeneity issue, which refers to the biased labeling preferences among multiple clients, negatively impacting convergence and model performance. Most previous FL methods attempt to tackle the data heterogeneity issue locally or globally, neglecting underlying class-wise structure information contained in each client. In this paper, we first study how data heterogeneity affects the divergence of the model and decompose it into local, global, and sampling drift sub-problems. To explore the potential of using intra-client class-wise structural knowledge in handling these drifts, we thus propose Federated Learning with Structural Knowledge Collaboration (FedSKC). The key idea of FedSKC is to extract and transfer domain preferences from inter-client data distributions, offering diverse class-relevant knowledge and a fair convergent signal. FedSKC comprises three components: i) local contrastive learning, to prevent weight divergence resulting from local training; ii) global discrepancy aggregation, which addresses the parameter deviation between the server and clients; iii) global period review, correcting for the sampling drift introduced by the server randomly selecting devices. We have theoretically analyzed FedSKC under non-convex objectives and empirically validated its superiority through extensive experimental results.
• Abstract（参考訳）: エッジコンピューティングの進歩により、フェデレーション・ラーニング(FL)はプライバシー保護の協調学習パラダイムとして明るい将来性を示す。 しかし、FLの大きな課題の1つはデータ不均一性の問題であり、これは複数のクライアント間の偏りのあるラベル付けの好みを参照し、収束とモデル性能に悪影響を及ぼす。 従来のFLメソッドのほとんどは、各クライアントに含まれる基礎となるクラスレベルの構造情報を無視して、ローカルまたはグローバルにデータ不均一性の問題に取り組みます。 本稿では,データの不均一性がモデルの分散にどのように影響するかを最初に研究し,それを局所的,大域的,サンプリング的サブプロブレムに分解する。 そこで本研究では,これらのドリフト処理において,クラス内構造知識を活用できる可能性を探るため,FedSKC(Federated Learning with Structure Knowledge Collaboration)を提案する。 FedSKCの鍵となる考え方は、クライアント間データ分布からドメインの好みを抽出し、転送することであり、多様なクラス関連知識と公正な収束信号を提供する。 FedSKCは3つのコンポーネントから構成される。 一 局所訓練による体重のばらつきを防止するための局所的コントラスト学習 二 サーバとクライアント間のパラメータのずれに対処するグローバルな不一致集約 三 サーバがランダムに選択した装置によって導入したサンプリングドリフトの補正のグローバル期間の見直し。 我々は,非凸対象下でFedSKCを理論的に解析し,その優位性を実験的に検証した。

関連論文リスト

• Adversarial Federated Consensus Learning for Surface Defect Classification Under Data Heterogeneity in IIoT [8.48069043458347]
  産業用IoT(Industrial Internet of Things)における各種エンティティからの十分なトレーニングデータの収集と集中化は難しい。 フェデレートラーニング(FL)は、クライアント間で協調的なグローバルモデルトレーニングを可能にするソリューションを提供する。 我々は,Adversarial Federated Consensus Learning (AFedCL) という新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-24T03:59:32Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• FedCME: Client Matching and Classifier Exchanging to Handle Data Heterogeneity in Federated Learning [5.21877373352943]
  クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。 クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。 実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
  論文  参考訳（メタデータ） (2023-07-17T15:40:45Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedDC: Federated Learning with Non-IID Data via Local Drift Decoupling and Correction [48.85303253333453]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、高性能なグローバルモデルを集合的にトレーニングすることを可能にする。 局所的ドリフトデカップリングと補正(FedDC)を用いた新しいフェデレーション学習アルゴリズムを提案する。 私たちのFedDCでは、ローカルモデルパラメータとグローバルモデルパラメータのギャップを追跡するために、各クライアントが補助的なローカルドリフト変数を使用するような、ローカルトレーニングフェーズにおける軽量な修正のみを導入しています。 実験結果と解析結果から,FedDCは様々な画像分類タスクにおいて,収差の迅速化と性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-03-22T14:06:26Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。