論文の概要: Function-Space ADMM for Decentralized Federated Learning: A Control Theoretic Perspective
- arxiv url: http://arxiv.org/abs/2605.09356v1
- Date: Sun, 10 May 2026 06:11:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.209744
- Title: Function-Space ADMM for Decentralized Federated Learning: A Control Theoretic Perspective
- Title(参考訳): 分散フェデレーション学習のための関数空間ADMM:制御理論的視点
- Authors: Akihito Taya, Yuuki Nishiyama, Kaoru Sezaki,
- Abstract要約: 分散統合学習(FL)は、中央サーバーが存在しないエッジシステム上で機械学習モデルをトレーニングするための有望なアプローチである。
FedF-ADMMは関数空間内の損失関数の凸性を利用して、交互方向法乗算器を導出する。
実験により、FedF-ADMMは既存の分散FL法よりも高速でより安定した収束を実現することが示された。
- 参考スコア(独自算出の注目度): 10.517508846742682
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decentralized federated learning (FL) is a promising approach for training machine learning models on sensor networks, Internet of Things (IoT) devices, and other edge systems where no central server exists. While federated learning offers advantages such as preserving data privacy, it often suffers from non-independent and identically distributed (IID) data distributions across devices, which cause significant performance degradation. This issue is particularly severe when directly optimizing model parameters, because neural network training is inherently non-convex and standard convergence guarantees for convex optimization do not apply. Unlike existing decentralized FL methods that primarily operate in parameter space, we propose federated function-space alternating direction method of multipliers (FedF-ADMM). FedF-ADMM exploits the convexity of loss functionals within function space to derive alternating direction method of multipliers (ADMM)-based update directions, which are subsequently projected onto the parameter space via knowledge distillation. We further introduce a stabilization coefficient to enhance robustness under severe non-IID settings and analyze its behavior from a control-theoretic perspective by interpreting it as a proportional-integral (PI) term. Experiments under challenging non-IID scenarios, including settings where each device has data from only a single label, demonstrate that FedF-ADMM achieves faster and more stable convergence than existing decentralized FL methods, while attaining higher accuracy and better consensus among devices.
- Abstract(参考訳): Decentralized Federated Learning(FL)は、センサネットワーク、IoT(Internet of Things)デバイス、さらには中央サーバが存在しないエッジシステム上で、マシンラーニングモデルをトレーニングするための有望なアプローチである。
フェデレートされた学習は、データのプライバシを保存するなどの利点を提供するが、デバイス間で非独立的で同一に分散された(IID)データ分散に悩まされることが多く、パフォーマンスが著しく低下する。
ニューラルネットワークトレーニングは本質的に非凸であり、凸最適化の標準収束保証は適用されないため、モデルパラメータを直接最適化する場合、この問題は特に深刻である。
パラメータ空間で主に動作する既存の分散FL法とは異なり、乗算器のフェデレーション関数空間交互方向法(FedF-ADMM)を提案する。
FedF-ADMMは関数空間内の損失関数の凸性を利用して乗算器(ADMM)ベースの更新方向の交互方向法を導出し、その後知識蒸留によりパラメータ空間に投影する。
さらに、重度非IID条件下での頑健性を高める安定化係数を導入し、比例積分(PI)項として解釈することで、制御理論の観点からその挙動を解析する。
各デバイスが単一のラベルからのデータしか持たないような設定を含む、挑戦的な非IIDシナリオ下での実験では、FedF-ADMMが既存の分散FLメソッドよりも高速でより安定した収束を実現し、デバイス間の精度とコンセンサスの向上を実現している。
関連論文リスト
- An Efficient Unsupervised Federated Learning Approach for Anomaly Detection in Heterogeneous IoT Networks [1.1827914375779147]
フェデレートラーニング(FL)はIoT(Internet of Things)のような分散環境に有効なパラダイムである
本稿では、2つの異なるデータセットから共有された特徴を活用することにより、異常検出を効率化する効率的な非教師付きFLフレームワークを提案する。
実世界のIoTデータセットを用いた実験により,提案手法は異常検出精度において従来のFL手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2026-02-27T17:39:04Z) - Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。
実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。
FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
論文 参考訳(メタデータ) (2026-02-01T05:54:59Z) - Efficient Federated Learning with Heterogeneous Data and Adaptive Dropout [62.73150122809138]
Federated Learning(FL)は、複数のエッジデバイスを使用したグローバルモデルの協調トレーニングを可能にする、有望な分散機械学習アプローチである。
動的不均一モデルアグリゲーション(FedDH)と適応ドロップアウト(FedAD)の2つの新しい手法を備えたFedDHAD FLフレームワークを提案する。
これら2つの手法を組み合わせることで、FedDHADは精度(最大6.7%)、効率(最大2.02倍高速)、コスト(最大15.0%小型)で最先端のソリューションを大幅に上回っている。
論文 参考訳(メタデータ) (2025-07-14T16:19:00Z) - Performance Analysis of Decentralized Federated Learning Deployments [1.7249361224827533]
これらの課題に対処するために、分散フェデレートラーニング(DFL)が導入されている。
中央サーバに頼ることなく、参加するデバイス間の直接的なコラボレーションを促進する。
本研究は、DFLモデルの収束と一般化能力に影響を与える決定的な要因について考察する。
論文 参考訳(メタデータ) (2025-03-14T19:37:13Z) - Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。
下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
論文 参考訳(メタデータ) (2024-08-02T15:00:04Z) - Reliable Federated Disentangling Network for Non-IID Domain Feature [62.73267904147804]
本稿では、RFedDisと呼ばれる新しい信頼性のあるフェデレーション・ディエンタングリング・ネットワークを提案する。
我々の知る限り、提案するRFedDisは、明らかな不確実性と特徴の混在に基づくFLアプローチを開発する最初の試みである。
提案するRFedDisは,他の最先端FL手法と比較して信頼性の高い優れた性能を提供する。
論文 参考訳(メタデータ) (2023-01-30T11:46:34Z) - Towards Fast and Accurate Federated Learning with non-IID Data for
Cloud-Based IoT Applications [22.107854601448906]
フェデレートラーニング(FL)はモノのインターネット(IoT)設計で人気を博している。
IoTデバイスによって収集されたデータが非独立かつ同一に分散された(非IID)方法でスキューされると、バニラFL法の精度が保証されない。
本稿では,非IIDデータのトレーニングにおいて,重み分散のデメリットを効果的に低減できる新しいデータベースデバイスグループ化手法を提案する。
論文 参考訳(メタデータ) (2022-01-29T06:49:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。