論文の概要: Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2504.19103v1
- Date: Sun, 27 Apr 2025 04:38:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.135041
- Title: Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning
- Title（参考訳）: リングトポロジー分散フェデレーション学習における一般化とパーソナライゼーションの調和
- Authors: Shunxin Guo, Jiaqi Lv, Xin Geng,
- Abstract要約: 本稿では,分散モデルトレーニングのためのリングトポロジ分散フェデレート学習(RDFL)について紹介する。
RDFLは、固有のデータ不均一性を扱う場合、ポイントツーポイント通信方式により、情報の共有効率が低いという課題に直面している。
本稿では、特徴生成モデルを用いて、基礎となるデータ分布からパーソナライズされた情報と不変な共有知識を抽出するDivide-and-conquer RDFLフレームワーク(DRDFL)を提案する。
- 参考スコア（独自算出の注目度）: 41.4210010333948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Ring-topology Decentralized Federated Learning (RDFL) for distributed model training, aiming to avoid the inherent risks of centralized failure in server-based FL. However, RDFL faces the challenge of low information-sharing efficiency due to the point-to-point communication manner when handling inherent data heterogeneity. Existing studies to mitigate data heterogeneity focus on personalized optimization of models, ignoring that the lack of shared information constraints can lead to large differences among models, weakening the benefits of collaborative learning. To tackle these challenges, we propose a Divide-and-conquer RDFL framework (DRDFL) that uses a feature generation model to extract personalized information and invariant shared knowledge from the underlying data distribution, ensuring both effective personalization and strong generalization. Specifically, we design a \textit{PersonaNet} module that encourages class-specific feature representations to follow a Gaussian mixture distribution, facilitating the learning of discriminative latent representations tailored to local data distributions. Meanwhile, the \textit{Learngene} module is introduced to encapsulate shared knowledge through an adversarial classifier to align latent representations and extract globally invariant information. Extensive experiments demonstrate that DRDFL outperforms state-of-the-art methods in various data heterogeneity settings.
- Abstract（参考訳）: 本稿では,分散モデルトレーニングのためのリングトポロジ分散フェデレート学習(RDFL)について紹介する。
しかしRDFLは、固有データ不均一性を扱う場合のポイント・ツー・ポイント通信方式により、情報共有効率の低い課題に直面している。
データの不均一性を緩和するための既存の研究は、モデルのパーソナライズされた最適化に焦点を当てており、共有情報制約の欠如は、モデル間で大きな違いをもたらし、協調学習の利点を弱める可能性があることを無視している。
これらの課題に対処するために,機能生成モデルを用いたDivide-and-conquer RDFLフレームワークを提案し,その基盤となるデータ分布からパーソナライズされた情報と不変な共有知識を抽出し,効果的なパーソナライズと強力な一般化の両立を保証する。
具体的には、クラス固有の特徴表現をガウス混合分布に従うように促し、局所的なデータ分布に合わせた識別潜在表現の学習を容易にする、 \textit{PersonaNet} モジュールを設計する。
一方、textit{Learngene} モジュールは、敵の分類器を通じて共有知識をカプセル化し、潜在表現を整列させ、グローバルに不変な情報を抽出するために導入された。
大規模な実験により、RDFLは様々なデータ不均一性設定において最先端の手法より優れていることが示された。
関連論文リスト
- Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。
フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。
本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-11-10T04:03:09Z) - FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。
我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。
提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文 参考訳（メタデータ） (2024-10-17T22:47:19Z) - FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms
for Federated Learning [1.4656078321003647]
Federated Learning(FL)は、独立した学習者がデータをプライベートに処理する分散機械学習アプローチである。
現在普及しているデータ分割技術について検討し、その主な欠点を可視化する。
エントロピーと対称性を利用して「最も困難」かつ制御可能なデータ分布を構築する手法を提案する。
論文 参考訳（メタデータ） (2023-10-11T18:39:08Z) - Personalized Federated Learning via Gradient Modulation for
Heterogeneous Text Summarization [21.825321314169642]
本研究では,グローバルモデルを生データを共有せずに協調学習方法で共有することのできる,連合学習テキスト要約方式を提案する。
FedSUMMはタスク固有テキスト要約のためのPFLアルゴリズム上でより高速なモデル収束を実現することができる。
論文 参考訳（メタデータ） (2023-04-23T03:18:46Z) - Exploiting Personalized Invariance for Better Out-of-distribution
Generalization in Federated Learning [13.246981646250518]
本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。
本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
論文 参考訳（メタデータ） (2022-11-21T08:17:03Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳（メタデータ） (2022-10-01T09:04:17Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳（メタデータ） (2022-08-22T09:07:02Z) - Heterogeneous Target Speech Separation [52.05046029743995]
我々は,非相互排他的概念を用いて興味のあるソースを区別できる単一チャネルターゲットソース分離のための新しいパラダイムを提案する。
提案する異種分離フレームワークは,分散シフトが大きいデータセットをシームレスに利用することができる。
論文 参考訳（メタデータ） (2022-04-07T17:14:20Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。