論文の概要: Decentralized Federated Learning by Partial Message Exchange
- arxiv url: http://arxiv.org/abs/2603.01730v1
- Date: Mon, 02 Mar 2026 10:57:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-03 19:50:56.827487
- Title: Decentralized Federated Learning by Partial Message Exchange
- Title（参考訳）: 部分的メッセージ交換による分散フェデレーション学習
- Authors: Shan Sha, Shenglong Zhou, Xin Wang, Lingchen Kong, Geoffrey Ye Li,
- Abstract要約: Decentralized Federated Learning (DFL) は、大規模な異種ネットワーク上での協調学習を可能にする、変革的なサーバフリーパラダイムとして登場した。
本稿では,ランダムに選択されたスパース座標のみを2つの隣接ノード間で交換できる新しいアルゴリズムPaMEを開発する。
PaMEは、高いレベルのプライバシーを維持しながら、精度を犠牲にすることなく、通信コストを大幅に削減する。
- 参考スコア（独自算出の注目度）: 36.48306604538227
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized federated learning (DFL) has emerged as a transformative server-free paradigm that enables collaborative learning over large-scale heterogeneous networks. However, it continues to face fundamental challenges, including data heterogeneity, restrictive assumptions for theoretical analysis, and degraded convergence when standard communication- or privacyenhancing techniques are applied. To overcome these drawbacks, this paper develops a novel algorithm, PaME (DFL by Partial Message Exchange). The central principle is to allow only randomly selected sparse coordinates to be exchanged between two neighbor nodes. Consequently, PaME achieves substantial reductions in communication costs while still preserving a high level of privacy, without sacrificing accuracy. Moreover, grounded in rigorous analysis, the algorithm is shown to converge at a linear rate under the gradient to be locally Lipschitz continuous and the communication matrix to be doubly stochastic. These two mild assumptions not only dispense with many restrictive conditions commonly imposed by existing DFL methods but also enables PaME to effectively address data heterogeneity. Furthermore, comprehensive numerical experiments demonstrate its superior performance compared with several representative decentralized learning algorithms.
- Abstract（参考訳）: Decentralized Federated Learning (DFL) は、大規模な異種ネットワーク上での協調学習を可能にするトランスフォーメーションなサーバフリーパラダイムとして登場した。
しかし、データ不均一性、理論解析の制限的な仮定、標準通信やプライバシー強化技術を適用した際の劣化した収束など、基本的な課題に直面し続けている。
これらの欠点を克服するために, 部分メッセージ交換による新しいアルゴリズム PaME (DFL) を開発した。
中心となる原則は、ランダムに選択されたスパース座標のみを2つの隣接ノード間で交換できるようにすることである。
そのため、PaMEは精度を犠牲にすることなく高いレベルのプライバシーを維持しつつ、通信コストを大幅に削減する。
さらに、厳密な解析に基づいて、このアルゴリズムは局所的にリプシッツ連続となる勾配の下で線形速度で収束し、通信行列は二重確率的に収束することを示した。
これら2つの軽度の仮定は、既存のDFL法で一般的に課される多くの制約条件を省くだけでなく、PaMEがデータ不均一性に効果的に対処することを可能にする。
さらに、総合的な数値実験は、いくつかの代表的な分散学習アルゴリズムと比較して優れた性能を示す。
関連論文リスト
- A Secure and Private Distributed Bayesian Federated Learning Design [56.92336577799572]
DFL(Distributed Federated Learning)は、中央パラメータサーバを持たない大規模システム間の分散モデルトレーニングを可能にする。
DFLは、3つの重要な課題に直面している: 正直な隣人からのプライバシー漏洩、中央調整の欠如による収束の遅さ、モデルの精度の低下を目指すビザンティンの敵に対する脆弱性。
本稿では,ビザンチンの堅牢性,プライバシー保護,収束促進を統合した新しいDFLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-23T16:12:02Z) - Privacy-Preserving Quantized Federated Learning with Diverse Precision [26.884460225459627]
フェデレーテッド・ラーニング(FL)は、分散機械学習のための有望なパラダイムとして登場した。
その進歩にもかかわらず、FLは次のように制限されている。 (i) 核融合センター(FC)へのローカルモデル更新の保護されていない送信から生じるプライバシーリスク。
プライバシ(DP)と最小量子化誤差を同時に達成するために設計された新しい量子化器(SQ)を導入する。
論文 参考訳（メタデータ） (2025-07-01T16:26:20Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T08:32:25Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳（メタデータ） (2024-10-09T06:17:16Z) - Asymmetrically Decentralized Federated Learning [22.21977974314497]
分散フェデレーションラーニング(DFL)が出現し、ピアツーピア(P2P)通信フレームワークでサーバを破棄する。
本稿では,非対称トポロジに基づくPush-Awareプロトコルを用いたDFedSGPSMアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-08T09:46:26Z) - Sparse Decentralized Federated Learning [35.32297764027417]
分散フェデレートラーニング(DFL)は、中央サーバーなしで協調的なモデルトレーニングを可能にするが、効率、安定性、信頼性の課題に直面している。
Sparse DFL (SDFL) に繋がる共有モデルに空間制約を導入し,新しいアルゴリズムCEPSを提案する。
数値実験により,高い信頼性を維持しつつ,コミュニケーションと効率を向上させるための提案アルゴリズムの有効性が検証された。
論文 参考訳（メタデータ） (2023-08-31T12:22:40Z) - Differentially Private Decentralized Optimization with Relay Communication [1.2695958417031445]
プライバシリーク頻度(PLF)は,アルゴリズムの通信とプライバシリークの関係を明らかにする指標である。
DP-RECAL は, 演算子分割法と中継通信機構を利用して, PLF の低減を図っている。
論文 参考訳（メタデータ） (2022-12-21T09:05:36Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Decentralized Local Stochastic Extra-Gradient for Variational
Inequalities [125.62877849447729]
我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。
我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。
理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
論文 参考訳（メタデータ） (2021-06-15T17:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。