論文の概要: GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning

• arxiv url: http://arxiv.org/abs/2412.03867v1
• Date: Thu, 05 Dec 2024 04:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:06.146755
• Title: GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning
• Title（参考訳）: GP-FL:2次オーバー・ザ・エア・フェデレーション学習のためのモデルに基づくヘシアン推定
• Authors: Shayan Mohajer Hamidi, Ali Bereyhi, Saba Asaad, H. Vincent Poor,
• Abstract要約: 2次法は学習アルゴリズムの収束率を改善するために広く採用されている。 本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 52.295563400314094
• License:
• Abstract: Second-order methods are widely adopted to improve the convergence rate of learning algorithms. In federated learning (FL), these methods require the clients to share their local Hessian matrices with the parameter server (PS), which comes at a prohibitive communication cost. A classical solution to this issue is to approximate the global Hessian matrix from the first-order information. Unlike in idealized networks, this solution does not perform effectively in over-the-air FL settings, where the PS receives noisy versions of the local gradients. This paper introduces a novel second-order FL framework tailored for wireless channels. The pivotal innovation lies in the PS's capability to directly estimate the global Hessian matrix from the received noisy local gradients via a non-parametric method: the PS models the unknown Hessian matrix as a Gaussian process, and then uses the temporal relation between the gradients and Hessian along with the channel model to find a stochastic estimator for the global Hessian matrix. We refer to this method as Gaussian process-based Hessian modeling for wireless FL (GP-FL) and show that it exhibits a linear-quadratic convergence rate. Numerical experiments on various datasets demonstrate that GP-FL outperforms all classical baseline first and second order FL approaches.
• Abstract（参考訳）: 2次法は学習アルゴリズムの収束率を改善するために広く採用されている。 フェデレートラーニング(FL)では、これらの手法では、クライアントがローカルなヘッセン行列をパラメータサーバ(PS)と共有する必要がある。 この問題の古典的な解決策は、一階情報から大域ヘッセン行列を近似することである。 理想化されたネットワークとは異なり、PSが局所勾配のノイズバージョンを受け取る場合、このソリューションは空気上FL設定では効果的に動作しない。 本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。 中心的な革新は、非パラメトリックな方法で、受信した雑音の局所勾配から大域ヘッセン行列を直接推定するPSの能力にある:PSは未知のヘッセン行列をガウス過程としてモデル化し、その後、チャネルモデルと共に勾配とヘッセンの間の時間的関係を利用して、大域ヘッセン行列の確率的推定子を求める。 この手法を,無線FL(GP-FL)のガウス過程に基づくヘシアンモデリングと呼び,線形2次収束率を示す。 様々なデータセットの数値実験により、GP-FLは古典的ベースラインの1階と2階のFLアプローチよりも優れていることが示された。

関連論文リスト

• A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
  フェデレートラーニングは分散勾配降下技術に大きく依存している。 勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。 勾配推定法を改善するための非等方的サンプリング法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T10:36:40Z)
• Fed-Sophia: A Communication-Efficient Second-Order Federated Learning Algorithm [28.505671833986067]
  フェデレーション学習(Federated Learning)は、複数のデバイスが、ローカル更新のみを共有することで、パラメータサーバの助けを借りて協調的に学習する、機械学習アプローチである。 この領域では勾配に基づく最適化手法が広く採用されているが、二階法が示す曲率情報は収束のガイドと高速化に不可欠である。 本稿では,フェデレートされた大規模モデルにおける曲率情報の導入を可能にする,スケーラブルな2次法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T09:57:30Z)
• Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space [27.259110269667826]
  フェデレートラーニング(FL)では、クライアント間で分散されたデータセット上でモデルをトレーニングする。 小さくてノイズの多いデータセットは一般的であり、よく校正されたモデルの必要性を強調している。 予測後部の混合と積を補間するベイズFLアルゴリズムである$beta$-Predictive Bayesを提案する。
  論文  参考訳（メタデータ） (2023-12-15T14:17:16Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Predicting Flat-Fading Channels via Meta-Learned Closed-Form Linear Filters and Equilibrium Propagation [38.42468500092177]
  フェーディングチャネルの予測は、様々なアプリケーションにおいて古典的な問題である。 実際、ドップラースペクトルは未知であり、予測器は推定チャネルの限られた時系列にしかアクセスできない。 本稿では,チャネルフェード予測のためのトレーニングデータの観点から,メタラーニングを活用して要件を緩和することを提案する。
  論文  参考訳（メタデータ） (2021-10-01T14:00:23Z)
• Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation [10.775558382613077]
  チャネル推定とビームフォーミングは、周波数分割二重化(FDD)大規模マルチインプット多重出力(MIMO)システムにおいて重要な役割を果たす。 受信したアップリンクパイロットに応じて,基地局のビームフォーマを直接最適化する深層学習方式を提案する。 エンド・ツー・エンドの設計のスケーラビリティを向上させるために,ニューラルキャリブレーション法を提案する。
  論文  参考訳（メタデータ） (2021-08-03T14:26:14Z)
• STEM: A Stochastic Two-Sided Momentum Algorithm Achieving Near-Optimal Sample and Communication Complexities for Federated Learning [58.6792963686231]
  フェデレートラーニング(FL)とは、複数のワーカノード(WN)がローカルデータを用いてジョイントモデルを構築するパラダイムを指す。 WNの最小更新方向、最初のミニバッチサイズ、ローカル更新頻度をどうやって選択するかは明らかになっていない。 局所的な更新頻度と局所的なミニサイズとの間にはトレードオフ曲線があることを示し、上記の複雑さを維持できることを示す。
  論文  参考訳（メタデータ） (2021-06-19T06:13:45Z)
• Hybrid Federated Learning: Algorithms and Implementation [61.0640216394349]
  Federated Learning(FL)は、分散データセットとプライベートデータセットを扱う分散機械学習パラダイムである。 ハイブリッドFLのためのモデルマッチングに基づく新しい問題定式化を提案する。 次に,グローバルモデルとローカルモデルを協調して学習し,完全かつ部分的な特徴量を扱う効率的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-22T23:56:03Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。