論文の概要: A Unified Framework for Fair and Personalized Decentralized Learning under Communication Constraints
- arxiv url: http://arxiv.org/abs/2608.26493v2
- Date: Sat, 29 Aug 2026 23:27:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 13:34:07.700175
- Title: A Unified Framework for Fair and Personalized Decentralized Learning under Communication Constraints
- Title(参考訳): コミュニケーション制約下での公平でパーソナライズされた分散学習のための統一フレームワーク
- Abstract要約: 分散学習システムは、中央コーディネータに頼ることなく、複数のクライアントにわたるモデルを協調的にトレーニングすることを目的としている。
分散化はスケーラビリティ、プライバシ、堅牢性を改善するが、クライアント間の統計的不均一性、クライアントレベルのパフォーマンスの同期、厳密な通信制約という3つの根本的な課題も悪化させる。
具体的には,分散化されたマルチタスク学習アルゴリズムであるDMFL-SQを提案する。
DMFL-SQは,予測性能を維持しつつ通信を著しく低減し,クライアント間の公平性を向上することを示す。
- 参考スコア(独自算出の注目度): 12.544579930854447
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decentralized learning systems aim to collaboratively train models across multiple clients without relying on a central coordinator. While decentralization improves scalability, privacy, and robustness, it also exacerbates three fundamental challenges: statistical heterogeneity across clients, fairness in client-level performance, and stringent communication constraints. This raises a natural question: \emph{how fair can decentralized learning be under limited communication?} We address this question by presenting a unified framework for decentralized learning under communication constraints, bringing together graph-based personalization, agnostic fairness, and compressed event-triggered communication. Specifically, we propose a new algorithm DMFL-SQ, a decentralized multi-task learning algorithm that couples personalized model training over a communication graph with an agnostic mixture fairness objective, while reducing communication through sparsification, quantization, and event-triggered synchronization. We establish convergence guarantees for general non-convex objectives and show that DMFL-SQ achieves an $\mathcal{O}(T^{-1/2})$ rate in expected squared Moreau-envelope stationarity despite sparse, quantized, and event-triggered communication. We further derive PAC-Bayes generalization guarantees for the fairness-aware mixture objective. Experiments on CIFAR-10 and the real heterogeneous MUSMET EEG dataset demonstrate that DMFL-SQ substantially reduces communication while maintaining predictive performance and improving fairness across clients. Together, our theoretical and empirical results show that personalization, fairness, and communication efficiency can be jointly achieved in decentralized learning while preserving the dominant convergence rate.
- Abstract(参考訳): 分散学習システムは、中央コーディネータに頼ることなく、複数のクライアントにわたるモデルを協調的にトレーニングすることを目的としている。
分散化はスケーラビリティ、プライバシ、ロバスト性を改善するが、クライアント間の統計的不均一性、クライアントレベルのパフォーマンスの公平性、厳密な通信制約という3つの根本的な課題も悪化させる。
分散学習が限定的なコミュニケーションの下でいかに公平であるか?
筆者らは,コミュニケーション制約下での分散学習のための統一的枠組みを提示し,グラフに基づくパーソナライゼーション,不可知公正性,圧縮イベントトリガー通信を両立させることにより,この問題に対処する。
具体的には、分散化されたマルチタスク学習アルゴリズムであるDMFL-SQを提案する。このアルゴリズムは、疎化、量子化、イベントトリガー同期による通信を低減しつつ、通信グラフ上の個別化モデルトレーニングを非依存の混合公正度目標と組み合わせる。
我々は、一般の非凸目的に対する収束保証を確立し、DMFL-SQがスパース、量子化、イベントトリガー通信にもかかわらず、期待される2乗モロー-エンベロープ定常性において$\mathcal{O}(T^{-1/2})$レートを達成することを示す。
さらに、フェアネス・アウェア混合目的に対するPAC-Bayes一般化保証を導出する。
CIFAR-10と実際の異種MUSMET EEGデータセットの実験では、DMFL-SQは予測性能を維持しながら通信を著しく低減し、クライアント間の公正性を向上させる。
理論的,実証的な結果から,個人化,公平性,コミュニケーション効率は,支配的な収束率を維持しつつ,分散学習において共同で達成可能であることが示唆された。
関連論文リスト
- Event-Triggered Gossip for Distributed Learning [61.70659996356528]
我々は,ノード間通信を減らすために,分散学習のためのイベントトリガー型ゴシップフレームワークを開発した。
従来のフルテキスト・オブ・ザ・アート分散学習法と比較して,bf71.61%を限界性能損失のみで分析する。
論文 参考訳(メタデータ) (2026-02-22T10:13:43Z) - Personalized Federated Learning with Bidirectional Communication Compression via One-Bit Random Sketching [19.959825317183924]
フェデレートラーニング(FL)は、分散データ間の協調トレーニングを可能にする。
pFed1BSは,1ビットのランダムスケッチによる極端な通信圧縮を実現する,パーソナライズされたFLフレームワークである。
本フレームワークでは,クライアントが高度に圧縮された1ビットのスケッチを送信し,サーバが集約し,グローバルな1ビットのコンセンサスをブロードキャストする。
論文 参考訳(メタデータ) (2025-11-17T08:55:22Z) - Zero-Shot Decentralized Federated Learning [10.60647737661699]
集中コーディネータを使わずに、分散クライアント間のゼロショット適応を可能にする、完全に分散化されたフレームワークであるゼロショット分散フェデレートラーニング(ZeroDFL)を提案する。
我々はZeroDFLを9つの多様な画像分類データセットで検証し、連続的に性能が向上することを示した。
これらの結果から,フェデレートされたゼロショット学習の一般化が促進されるだけでなく,拡張性,効率性,プライバシ保護が向上し,現実のアプリケーションにおける大規模視覚言語モデルの分散適応が促進されることがわかった。
論文 参考訳(メタデータ) (2025-09-30T16:13:21Z) - Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization [8.579148218325168]
論文は、モデル圧縮、ローカルトレーニング、パーソナライゼーションに焦点を当て、コミュニケーション効率を改善するための戦略を探求する。
我々は,収束保証付き圧縮演算子のための統一的なフレームワークを構築した。
本稿では,収束を加速し,クライアントのドリフトを軽減するためにパーソナライズを取り入れた適応型ローカルトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2025-09-10T02:19:56Z) - MAB-Based Channel Scheduling for Asynchronous Federated Learning in Non-Stationary Environments [12.404264058659429]
フェデレートラーニングは、生のデータ交換なしでクライアント間での分散モデルトレーニングを可能にする。
無線実装では、頻繁なパラメータ更新は高い通信オーバーヘッドを引き起こす。
通信効率と公平性を向上しつつ,クライアントの安定性を低下させるための非同期フェデレーション学習スケジューリングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-03T09:05:04Z) - Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。
DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。
実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
論文 参考訳(メタデータ) (2024-10-09T06:17:16Z) - FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models [52.13056951033747]
フェデレートラーニング(FL)は、異種クライアントがローカルにプライベートデータを処理し、中央サーバーと対話できるというユニークな特徴から、注目を集めている。
FLにおける重要なボトルネックは通信コストです。
我々の研究は、FLにおける通信複雑性の低減を推進した革新的なScaffnewアルゴリズムにインスパイアされている。
我々はFedComLocを導入し、実用的で効果的な圧縮をScaffnewに統合し、通信効率をさらに高める。
論文 参考訳(メタデータ) (2024-03-14T22:29:59Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Finite-Time Consensus Learning for Decentralized Optimization with
Nonlinear Gossiping [77.53019031244908]
本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。
コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
論文 参考訳(メタデータ) (2021-11-04T15:36:25Z) - CosSGD: Nonlinear Quantization for Communication-efficient Federated
Learning [62.65937719264881]
フェデレーション学習は、これらのクライアントのローカルデータを中央サーバに転送することなく、クライアント間での学習を促進する。
圧縮勾配降下のための非線形量子化を提案し、フェデレーションラーニングで容易に利用することができる。
本システムは,訓練過程の収束と精度を維持しつつ,通信コストを最大3桁まで削減する。
論文 参考訳(メタデータ) (2020-12-15T12:20:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。