Fugu-MT 論文翻訳(概要): Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient

論文の概要: Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient

arxiv url: http://arxiv.org/abs/2308.09082v2
Date: Sun, 3 Sep 2023 03:59:53 GMT
ステータス: 処理完了
システム内更新日: 2023-09-07 03:28:44.345553
Title: Over-the-Air Computation Aided Federated Learning with the Aggregation of Normalized Gradient
Title（参考訳）: 正規化勾配の集約によるオーバーザ・エア計算によるフェデレーション学習支援
Authors: Rongfei Fan, Xuming An, Shiyuan Zuo, and Han Hu
Abstract要約: オーバー・ザ・エア(Over-the-air)は、フェデレートラーニング(FL)のための通信効率のよい解である。このようなシステムでは、プライベート損失関数の反復手順を更新し、すべてのモバイルデバイスで送信する。この問題を回避するため,局所勾配を正規化して増幅する手法を提案する。
参考スコア（独自算出の注目度）: 12.692064367193934
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Over-the-air computation is a communication-efficient solution for federated learning (FL). In such a system, iterative procedure is performed: Local gradient of private loss function is updated, amplified and then transmitted by every mobile device; the server receives the aggregated gradient all-at-once, generates and then broadcasts updated model parameters to every mobile device. In terms of amplification factor selection, most related works suppose the local gradient's maximal norm always happens although it actually fluctuates over iterations, which may degrade convergence performance. To circumvent this problem, we propose to turn local gradient to be normalized one before amplifying it. Under our proposed method, when the loss function is smooth, we prove our proposed method can converge to stationary point at sub-linear rate. In case of smooth and strongly convex loss function, we prove our proposed method can achieve minimal training loss at linear rate with any small positive tolerance. Moreover, a tradeoff between convergence rate and the tolerance is discovered. To speedup convergence, problems optimizing system parameters are also formulated for above two cases. Although being non-convex, optimal solution with polynomial complexity of the formulated problems are derived. Experimental results show our proposed method can outperform benchmark methods on convergence performance.
Abstract（参考訳）: オーバー・ザ・エア(Over-the-air)は、連邦学習(FL)のための通信効率の高い計算方法である。このようなシステムでは、プライベート損失関数の局所勾配が更新され、増幅され、各モバイルデバイスに送信され、サーバは全オンスに集約勾配を受信し、更新されたモデルパラメータを各モバイルデバイスに生成してブロードキャストする。増幅係数の選択に関して、ほとんどの関連する研究は、局所勾配の極大ノルムは常に起こると仮定するが、実際には反復によって変動し、収束性能が低下する可能性がある。この問題を回避するために,局所勾配を増幅する前に正規化する手法を提案する。提案手法では,損失関数が滑らかな場合,提案手法が非線型速度で定常点に収束できることを実証する。滑らかで強い凸損失関数の場合,本手法は最小のトレーニング損失を最小の正の許容範囲で線形速度で達成できることを実証する。さらに、収束率と耐性とのトレードオフが発見された。収束を早めるために、システムパラメータを最適化する問題を2つ以上のケースで定式化する。非凸であるが、定式化問題の多項式複雑性を伴う最適解が導出される。実験の結果,提案手法は収束性能のベンチマーク手法を上回ることができることがわかった。

関連論文リスト

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes [17.804065824245402]
機械学習の応用では、各損失関数は非負であり、平方根とその実数値平方根の構成として表すことができる。本稿では, ガウス・ニュートン法やレフスカルト法を適用して, 滑らかだが非負な関数の平均を最小化する方法を示す。
論文参考訳（メタデータ） (2024-07-05T08:53:06Z)
Adaptive Federated Learning Over the Air [108.62635460744109]
オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
論文参考訳（メタデータ） (2024-03-11T09:10:37Z)
Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
論文参考訳（メタデータ） (2024-02-06T01:29:35Z)
Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文参考訳（メタデータ） (2023-10-20T12:45:12Z)
Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-05-28T06:33:37Z)
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
論文参考訳（メタデータ） (2021-05-04T17:31:28Z)
Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文参考訳（メタデータ） (2020-12-21T17:29:58Z)
Channel-Directed Gradients for Optimization of Convolutional Neural Networks [50.34913837546743]
本稿では,畳み込みニューラルネットワークの最適化手法を提案する。出力チャネル方向に沿って勾配を定義することで性能が向上し,他の方向が有害となることを示す。
論文参考訳（メタデータ） (2020-08-25T00:44:09Z)
Iterative Pre-Conditioning for Expediting the Gradient-Descent Method: The Distributed Linear Least-Squares Problem [0.966840768820136]
本稿では,サーバエージェントネットワークにおけるマルチエージェント線形最小二乗問題について考察する。エージェントの目標は、個々のローカルデータポイントを共有することなく、すべてのエージェントが保持する集合データポイントに最適に適合する線形モデルを計算することである。本稿では,データ点の条件付けによる劣化効果を緩和する反復的プレコンディショニング手法を提案する。
論文参考訳（メタデータ） (2020-08-06T20:01:18Z)
A Hybrid-Order Distributed SGD Method for Non-Convex Optimization to Balance Communication Overhead, Computational Complexity, and Convergence Rate [28.167294398293297]
通信負荷の少ない分散勾配降下法(SGD)を提案する。各イテレーションにおける計算複雑性を低減するために、ワーカノードは、方向微分をゼロ階勾配推定で近似する。
論文参考訳（メタデータ） (2020-03-27T14:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。