論文の概要: LoSAC: An Efficient Local Stochastic Average Control Method for Federated Optimization

• arxiv url: http://arxiv.org/abs/2112.07839v1
• Date: Wed, 15 Dec 2021 02:25:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-17 02:54:17.971591
• Title: LoSAC: An Efficient Local Stochastic Average Control Method for Federated Optimization
• Title（参考訳）: LoSAC:フェデレーション最適化のための効率的な局所確率平均制御法
• Authors: Huiming Chen, Huandong Wang, Quanming Yao, Yong Li, Depeng Jin, Qiang Yang
• Abstract要約: 異種分散データからより効率的に学習するための新しい手法,すなわちLoSACを提案する。 具体的には、LoSACは通信効率を平均で100%以上改善する。
• 参考スコア（独自算出の注目度）: 43.30716721137722
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated optimization (FedOpt), which targets at collaboratively training a learning model across a large number of distributed clients, is vital for federated learning. The primary concerns in FedOpt can be attributed to the model divergence and communication efficiency, which significantly affect the performance. In this paper, we propose a new method, i.e., LoSAC, to learn from heterogeneous distributed data more efficiently. Its key algorithmic insight is to locally update the estimate for the global full gradient after {each} regular local model update. Thus, LoSAC can keep clients' information refreshed in a more compact way. In particular, we have studied the convergence result for LoSAC. Besides, the bonus of LoSAC is the ability to defend the information leakage from the recent technique Deep Leakage Gradients (DLG). Finally, experiments have verified the superiority of LoSAC comparing with state-of-the-art FedOpt algorithms. Specifically, LoSAC significantly improves communication efficiency by more than $100\%$ on average, mitigates the model divergence problem and equips with the defense ability against DLG.
• Abstract（参考訳）: フェデレーション最適化(FedOpt)は、多数の分散クライアントにわたる学習モデルを協調的にトレーニングすることを目的としたもので、フェデレーション学習には不可欠である。 FedOptの主な関心事は、モデルのばらつきと通信効率に起因し、パフォーマンスに大きな影響を及ぼす可能性がある。 本論文では、異種分散データからより効率的に学習するための新しい手法、すなわちLoSACを提案する。 その重要なアルゴリズム的洞察は、通常のローカルモデル更新後のグローバルフル勾配の推定値をローカルに更新することである。 これにより、LoSACはクライアントの情報をよりコンパクトな方法でリフレッシュすることができる。 特に,LoSACの収束結果について検討した。 さらに、LoSACのボーナスは、最新の技術であるDeep Leakage Gradients (DLG)から情報漏洩を保護する能力である。 最後に、実験は、最先端のFedOptアルゴリズムと比較してLoSACの優位性を検証した。 具体的には、LoSACは平均で100\%以上の通信効率を著しく向上させ、モデルの分散問題を緩和し、DLGに対する防御能力と同等にする。

関連論文リスト

• Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
  Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。 凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。 提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
  論文  参考訳（メタデータ） (2024-10-12T08:22:44Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Aiding Global Convergence in Federated Learning via Local Perturbation and Mutual Similarity Information [6.767885381740953]
  分散最適化パラダイムとしてフェデレートラーニングが登場した。 本稿では,各クライアントが局所的に摂動勾配のステップを実行する,新しいフレームワークを提案する。 我々は,FedAvgと比較して,アルゴリズムの収束速度が30のグローバルラウンドのマージンとなることを示す。
  論文  参考訳（メタデータ） (2024-10-07T23:14:05Z)
• Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization [11.955062839855334]
  フェデレートラーニング(FL)は、コミュニケーション効率と不均一性に関連する重要な課題に直面している。 我々はフェデレート学習のための一般的な低ランク更新フレームワークであるFedLoRUを提案する。 我々のフレームワークは、低ランククライアント側の更新を強制し、これらの更新を蓄積して高ランクモデルを作成します。
  論文  参考訳（メタデータ） (2024-09-19T00:11:58Z)
• FedCAda: Adaptive Client-Side Optimization for Accelerated and Stable Federated Learning [57.38427653043984]
  フェデレートラーニング(FL)は、分散クライアント間の機械学習モデルの協調トレーニングにおいて、顕著なアプローチとして登場した。 我々は,この課題に対処するために設計された,革新的なクライアント適応アルゴリズムであるFedCAdaを紹介する。 我々はFedCAdaが適応性、収束性、安定性、全体的な性能の点で最先端の手法より優れていることを実証する。
  論文  参考訳（メタデータ） (2024-05-20T06:12:33Z)
• Federated Learning for Sparse Principal Component Analysis [0.0]
  フェデレートラーニング(Federated Learning)は、クライアント側でモデルトレーニングが行われ、データをローカライズしてプライバシを保存する、分散化されたアプローチである。 本稿では,このフレームワークをSPCA(Sparse principal Component Analysis)に適用する。 SPCAは、解釈可能性を改善するためにデータの分散を最大化しながら、スパースコンポーネントのロードを達成することを目的としている。
  論文  参考訳（メタデータ） (2023-11-15T03:55:28Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。