論文の概要: Analysis of regularized federated learning

• arxiv url: http://arxiv.org/abs/2411.01548v1
• Date: Sun, 03 Nov 2024 12:47:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:27:33.773767
• Title: Analysis of regularized federated learning
• Title（参考訳）: 正規化フェデレーション学習の分析
• Authors: Langming Liu, Dingxuan Zhou,
• Abstract要約: フェデレーション学習は、異質なビッグデータとプライバシ保護を扱うための効率的なツールである。 ループ降下は、通信コストを削減するために、ビッグデータの実装においてしばしば使用される。
• 参考スコア（独自算出の注目度）: 8.489782750973005
• License:
• Abstract: Federated learning is an efficient machine learning tool for dealing with heterogeneous big data and privacy protection. Federated learning methods with regularization can control the level of communications between the central and local machines. Stochastic gradient descent is often used for implementing such methods on heterogeneous big data, to reduce the communication costs. In this paper, we consider such an algorithm called Loopless Local Gradient Descent which has advantages in reducing the expected communications by controlling a probability level. We improve the method by allowing flexible step sizes and carry out novel analysis for the convergence of the algorithm in a non-convex setting in addition to the standard strongly convex setting. In the non-convex setting, we derive rates of convergence when the smooth objective function satisfies a Polyak-{\L}ojasiewicz condition. When the objective function is strongly convex, a sufficient and necessary condition for the convergence in expectation is presented.
• Abstract（参考訳）: フェデレーション学習は、異種ビッグデータとプライバシ保護を扱うための効率的な機械学習ツールである。 正規化によるフェデレーション学習手法は、中央マシンとローカルマシン間の通信レベルを制御することができる。 確率勾配勾配は、通信コストを低減するために不均一なビッグデータ上でそのような手法を実装するためにしばしば用いられる。 本稿では、確率レベルを制御することによって、期待される通信を削減できるLoopless Local Gradient Descentと呼ばれるアルゴリズムについて考察する。 我々は、フレキシブルなステップサイズを許容し、標準凸設定に加えて、非凸設定におけるアルゴリズムの収束に関する新しい解析を行うことにより、その方法を改善する。 非凸設定では、滑らかな目的関数がポリアック-{\L}ojasiewicz条件を満たすときの収束率を導出する。 目的関数が強凸であるとき、期待収束のための十分かつ必要な条件が提示される。

関連論文リスト

• Adaptive Consensus Gradients Aggregation for Scaled Distributed Training [6.234802839923543]
  サブスペース最適化のレンズを用いて分散勾配凝集過程を解析する。 本手法は,複数のタスクのユビキタス平均化に対して,通信量と計算量の両方において極めて効率的でありながら,性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-11-06T08:16:39Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Communication-Efficient Device Scheduling for Federated Learning Using Stochastic Optimization [26.559267845906746]
  Time Learning(FL)は、ユーザのローカルデータセットをプライバシ保存形式で利用する分散機械学習において有用なツールである。 本稿では,非効率収束境界アルゴリズムを提案する。 また、電力制約下での収束境界と平均通信の関数を最小化する新しい選択および電力割当アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-01-19T23:25:24Z)
• A Boosting Approach to Reinforcement Learning [59.46285581748018]
  複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。 このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-08-22T16:00:45Z)
• Probabilistic partition of unity networks: clustering based deep approximation [0.0]
  ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。 ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。 本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
  論文  参考訳（メタデータ） (2021-07-07T08:02:00Z)
• Local AdaGrad-Type Algorithm for Stochastic Convex-Concave Minimax Problems [80.46370778277186]
  大規模凸凹型ミニマックス問題は、ゲーム理論、堅牢なトレーニング、生成的敵ネットワークのトレーニングなど、多くの応用で発生する。 通信効率のよい分散外グレードアルゴリズムであるLocalAdaSientを開発した。 サーバモデル。 等質な環境と異質な環境の両方において,その有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-18T09:42:05Z)
• Distributionally Robust Federated Averaging [19.875176871167966]
  適応サンプリングを用いた堅牢な学習周期平均化のためのコミュニケーション効率の高い分散アルゴリズムを提案する。 我々は、フェデレーション学習環境における理論的結果に関する実験的証拠を裏付ける。
  論文  参考訳（メタデータ） (2021-02-25T03:32:09Z)
• Federated Learning with Compression: Unified Analysis and Sharp Guarantees [39.092596142018195]
  通信コストは、数百万のデバイスからモデルを学ぶために分散最適化アルゴリズムをスケールアップする上で、重要なボトルネックとなることが多い。 フェデレーション圧縮と計算の通信オーバーヘッドに対処する2つの顕著な傾向は、信頼できない圧縮と不均一な通信である。 等質データと異質データの両方における収束度を解析する。
  論文  参考訳（メタデータ） (2020-07-02T14:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。