論文の概要: Smoothing ADMM for Non-convex and Non-smooth Hierarchical Federated Learning

• arxiv url: http://arxiv.org/abs/2503.08869v1
• Date: Tue, 11 Mar 2025 20:21:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:35:22.634269
• Title: Smoothing ADMM for Non-convex and Non-smooth Hierarchical Federated Learning
• Title（参考訳）: 非凸・非平滑階層型フェデレーション学習のための平滑化ADMM
• Authors: Reza Mirzaeifard, Stefan Werner,
• Abstract要約: 本稿では,スムーズな手法を用いた交互方向法乗算器(ADMM)を拡張した階層学習(FL)フレームワークを提案する。 従来の階層的なFLメソッドとは異なり、我々のアプローチは非同期更新とイテレーション毎に複数の更新をサポートする。
• 参考スコア（独自算出の注目度）: 3.6742141597860907
• License:
• Abstract: This paper presents a hierarchical federated learning (FL) framework that extends the alternating direction method of multipliers (ADMM) with smoothing techniques, tailored for non-convex and non-smooth objectives. Unlike traditional hierarchical FL methods, our approach supports asynchronous updates and multiple updates per iteration, enhancing adaptability to heterogeneous data and system settings. Additionally, we introduce a flexible mechanism to leverage diverse regularization functions at each layer, allowing customization to the specific prior information within each cluster and accommodating (possibly) non-smooth penalty objectives. Depending on the learning goal, the framework supports both consensus and personalization: the total variation norm can be used to enforce consensus across layers, while non-convex penalties such as minimax concave penalty (MCP) or smoothly clipped absolute deviation (SCAD) enable personalized learning. Experimental results demonstrate the superior convergence rates and accuracy of our method compared to conventional approaches, underscoring its robustness and versatility for a wide range of FL scenarios.
• Abstract（参考訳）: 本稿では,非凸および非滑らかな目的に適した平滑化手法を用いて,乗算器の交互方向法(ADMM)を拡張した階層型フェデレーションラーニング(FL)フレームワークを提案する。 従来の階層的FLメソッドとは異なり、我々のアプローチは非同期更新とイテレーション毎に複数更新をサポートし、異種データやシステム設定への適応性を向上します。 さらに、各層における多様な正規化関数を活用する柔軟なメカニズムを導入し、各クラスタ内の特定の事前情報をカスタマイズし、(おそらく)非平滑なペナルティ目的を調節することを可能にする。 学習目標に応じて、このフレームワークはコンセンサスとパーソナライズの両方をサポートする: 全体的な変動規範はレイヤ間のコンセンサスを強制するために使用することができるが、ミニマックス・コンケーブペナルティ(MCP)やスムーズなクリッピングされた絶対偏差(SCAD)のような非凸ペナルティはパーソナライズされた学習を可能にする。 実験により,本手法は従来の手法に比べて優れた収束率と精度を示し,その堅牢性と汎用性を幅広いFLシナリオで評価した。

関連論文リスト

• PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning [0.0]
  非ID分散データは、フェデレートラーニング(FL)における大きな課題である 本稿では、新しいフェデレーション感度指標を用いて、フェデレーションの恩恵を受けるレイヤを同定する原理的レイヤワイズFL(PLayer-FL)を提案する。 PLayer-FL は既存の FL アルゴリズムを様々なタスクで上回る性能を示し、クライアント間でより均一な性能向上を実現している。
  論文  参考訳（メタデータ） (2025-02-12T22:35:29Z)
• pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup [18.409463838775558]
  pMixFedは、グローバルモデルの共有とパーソナライズされたローカルモデルの混在を統合する、動的でレイヤワイズなPFLアプローチである。 提案手法では,パーソナライズされた層と共有された層を分割する適応的戦略,局所的なクライアント適応を強化するためのパーソナライズ度を段階的に変化させる戦略,クライアント間の一般化の改善,破滅的な忘れを緩和するための新たな集約機構を導入している。
  論文  参考訳（メタデータ） (2025-01-19T10:15:36Z)
• On ADMM in Heterogeneous Federated Learning: Personalization, Robustness, and Fairness [16.595935469099306]
  本稿では,乗算器の交互方向法(ADMM)を利用して,パーソナライズおよびグローバルモデルの学習を行う最適化フレームワークFLAMEを提案する。 我々の理論的解析は、軽度の仮定の下で、FLAMEのグローバル収束と2種類の収束速度を確立する。 実験の結果,FLAMEは収束と精度において最先端の手法より優れており,各種攻撃下では高い精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T11:35:42Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• Unleashing Network Potentials for Semantic Scene Completion [50.95486458217653]
  本稿では,新しいSSCフレームワーク - Adrial Modality Modulation Network (AMMNet)を提案する。 AMMNetは、モダリティ間の勾配流の相互依存性を可能にするクロスモーダル変調と、動的勾配競争を利用するカスタマイズされた逆トレーニングスキームの2つのコアモジュールを導入している。 AMMNetは最先端のSSC法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2024-03-12T11:48:49Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Revisiting GANs by Best-Response Constraint: Perspective, Methodology, and Application [49.66088514485446]
  ベストレスポンス制約(Best-Response Constraint、BRC)は、ジェネレータのディスクリミネータへの依存性を明示的に定式化する一般的な学習フレームワークである。 モチベーションや定式化の相違があっても, フレキシブルBRC法により, 様々なGANが一様に改善できることが示される。
  論文  参考訳（メタデータ） (2022-05-20T12:42:41Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)
• Improper Learning with Gradient-based Policy Optimization [62.50997487685586]
  未知のマルコフ決定過程に対して学習者がmベースコントローラを与えられる不適切な強化学習設定を考える。 制御器の不適切な混合のクラス上で動作する勾配に基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T14:53:55Z)
• FedSemi: An Adaptive Federated Semi-Supervised Learning Framework [23.90642104477983]
  フェデレートラーニング(FL)は、データを共有し、プライバシーを漏らすことなく、機械学習モデルをコトレーニングするための効果的なテクニックとして登場した。 既存のFL法の多くは、教師付き設定に重点を置いて、ラベルなしデータの利用を無視している。 本稿では,FedSemiを提案する。FedSemiは,教師-学生モデルを用いてFLに整合性正則化を導入する新しい,適応的で汎用的なフレームワークである。
  論文  参考訳（メタデータ） (2020-12-06T15:46:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。