論文の概要: FedNAR: Federated Optimization with Normalized Annealing Regularization

• arxiv url: http://arxiv.org/abs/2310.03163v1
• Date: Wed, 4 Oct 2023 21:11:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-06 20:22:41.733405
• Title: FedNAR: Federated Optimization with Normalized Annealing Regularization
• Title（参考訳）: FedNAR: 正規化アニーリング規則化によるフェデレーション最適化
• Authors: Junbo Li, Ang Li, Chong Tian, Qirong Ho, Eric P. Xing, Hongyi Wang
• Abstract要約: ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
• 参考スコア（独自算出の注目度）: 54.42032094044368
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Weight decay is a standard technique to improve generalization performance in modern deep neural network optimization, and is also widely adopted in federated learning (FL) to prevent overfitting in local clients. In this paper, we first explore the choices of weight decay and identify that weight decay value appreciably influences the convergence of existing FL algorithms. While preventing overfitting is crucial, weight decay can introduce a different optimization goal towards the global objective, which is further amplified in FL due to multiple local updates and heterogeneous data distribution. To address this challenge, we develop {\it Federated optimization with Normalized Annealing Regularization} (FedNAR), a simple yet effective and versatile algorithmic plug-in that can be seamlessly integrated into any existing FL algorithms. Essentially, we regulate the magnitude of each update by performing co-clipping of the gradient and weight decay. We provide a comprehensive theoretical analysis of FedNAR's convergence rate and conduct extensive experiments on both vision and language datasets with different backbone federated optimization algorithms. Our experimental results consistently demonstrate that incorporating FedNAR into existing FL algorithms leads to accelerated convergence and heightened model accuracy. Moreover, FedNAR exhibits resilience in the face of various hyperparameter configurations. Specifically, FedNAR has the ability to self-adjust the weight decay when the initial specification is not optimal, while the accuracy of traditional FL algorithms would markedly decline. Our codes are released at \href{https://github.com/ljb121002/fednar}{https://github.com/ljb121002/fednar}.
• Abstract（参考訳）: 重みの減衰は、現代のディープニューラルネットワーク最適化における一般化性能を向上させる標準的な技術であり、局所的なクライアントの過剰フィットを防ぐためのフェデレーション学習(fl)にも広く採用されている。 本稿では,まず,重みの減衰の選択肢を探索し,重みの減衰値が既存のflアルゴリズムの収束に与える影響を同定する。 オーバーフィッティングの防止は重要であるが、重み減衰は、複数の局所的な更新と不均一なデータ分布のためにFLでさらに増幅されたグローバルな目的に対して異なる最適化目標を導入することができる。 この課題に対処するために,既存のFLアルゴリズムにシームレスに統合可能な,シンプルで効率的かつ汎用的なアルゴリズムプラグインである正規化アニーリング正規化(FedNAR)を用いたフェデレーション最適化を開発する。 基本的には、勾配と重量減衰の共傾を行うことで、各更新の大きさを調節する。 我々は、FedNARの収束率に関する包括的な理論的分析を行い、異なるバックボーンフェデレーション最適化アルゴリズムを用いて、ビジョンと言語データセットの両方について広範な実験を行う。 実験の結果,既存のFLアルゴリズムにFedNARを組み込むことで収束が加速し,モデルの精度が向上することが示された。 さらに、FedNARは様々なハイパーパラメータ構成に直面してレジリエンスを示す。 具体的には、feednarは初期仕様が最適でない場合に体重減少を自己調整する能力を持つが、従来のflアルゴリズムの精度は著しく低下する。 我々のコードは \href{https://github.com/ljb121002/fednar}{https://github.com/ljb121002/fednar} でリリースされる。

関連論文リスト

• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Taming Hyperparameter Tuning in Continuous Normalizing Flows Using the JKO Scheme [60.79981399724534]
  正規化フロー (NF) は、選択された確率分布を正規分布に変換する写像である。 OTベースのCNFを$alpha$をチューニングすることなく解くアルゴリズムであるJKO-Flowを提案する。
  論文  参考訳（メタデータ） (2022-11-30T05:53:21Z)
• NET-FLEET: Achieving Linear Convergence Speedup for Fully Decentralized Federated Learning with Heterogeneous Data [12.701031075169887]
  フェデレーテッド・ラーニング(FL)は、データプライバシ保護、効率的な通信、並列データ処理といったメリットにより、近年、注目を集めている。 FLの既存の作業の多くは、データと集中型パラメータサーバを持つシステムに限られている。 我々は、データ不均一性を持つ完全分散FLシステムのための新しいアルゴリズム、NET-FLEETを提案する。
  論文  参考訳（メタデータ） (2022-08-17T19:17:23Z)
• Communication-Efficient Stochastic Zeroth-Order Optimization for Federated Learning [28.65635956111857]
  フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを共有せずに、グローバルモデルを協調的にトレーニングすることを可能にする。 FLの訓練効率を向上させるため,一階計算から一階法まで,様々なアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2022-01-24T08:56:06Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedFog: Network-Aware Optimization of Federated Learning over Wireless Fog-Cloud Systems [40.421253127588244]
  フェデレートラーニング(FL)は、訓練されたローカルパラメータを定期的に集約することで、複数のエッジユーザにわたって大規模な分散機械学習タスクを実行することができる。 まず,フォグサーバにおける勾配パラメータの局所的な集約と,クラウドでのグローバルトレーニング更新を行うための効率的なFLアルゴリズム(FedFog)を提案する。
  論文  参考訳（メタデータ） (2021-07-04T08:03:15Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)
• Stragglers Are Not Disaster: A Hybrid Federated Learning Algorithm with Delayed Gradients [21.63719641718363]
  フェデレーション・ラーニング(federated learning, fl)は、多数の分散コンピューティングデバイスで合同モデルをトレーニングする、新しい機械学習フレームワークである。 本稿では,効率と有効性における学習バランスを実現するための新しいflアルゴリズムであるhybrid federated learning(hfl)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T02:27:44Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。