論文の概要: Riemannian Federated Learning via Averaging Gradient Stream

• arxiv url: http://arxiv.org/abs/2409.07223v1
• Date: Wed, 11 Sep 2024 12:28:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-12 14:35:46.057417
• Title: Riemannian Federated Learning via Averaging Gradient Stream
• Title（参考訳）: Riemannian Federated Learning by A averageaging Gradient Stream
• Authors: Zhenwei Huang, Wen Huang, Pratik Jawanpuria, Bamdev Mishra,
• Abstract要約: 本稿では,RFedAGS(Federated Averaging Gradient Stream)アルゴリズムの開発と解析を行う。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。
• 参考スコア（独自算出の注目度）: 8.75592575216789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, federated learning has garnered significant attention as an efficient and privacy-preserving distributed learning paradigm. In the Euclidean setting, Federated Averaging (FedAvg) and its variants are a class of efficient algorithms for expected (empirical) risk minimization. This paper develops and analyzes a Riemannian Federated Averaging Gradient Stream (RFedAGS) algorithm, which is a generalization of FedAvg, to problems defined on a Riemannian manifold. Under standard assumptions, the convergence rate of RFedAGS with fixed step sizes is proven to be sublinear for an approximate stationary solution. If decaying step sizes are used, the global convergence is established. Furthermore, assuming that the objective obeys the Riemannian Polyak-{\L}ojasiewicz property, the optimal gaps generated by RFedAGS with fixed step size are linearly decreasing up to a tiny upper bound, meanwhile, if decaying step sizes are used, then the gaps sublinearly vanish. Numerical simulations conducted on synthetic and real-world data demonstrate the performance of the proposed RFedAGS.
• Abstract（参考訳）: 近年、フェデレーション学習は、効率的でプライバシーを保護した分散学習パラダイムとして大きな注目を集めている。 ユークリッド設定では、フェデレート平均化(FedAvg)とその変種は期待される(経験的)リスク最小化のための効率的なアルゴリズムのクラスである。 本稿では,FedAvgの一般化であるRiemannian Federated Averaging Gradient Stream (RFedAGS)アルゴリズムを,リーマン多様体上で定義された問題に対して開発・解析する。 標準的な仮定では、RFedAGS の固定ステップサイズでの収束速度は、近似定常解のサブ線形であることが証明されている。 崩壊するステップサイズを使用すると、大域収束が確立される。 さらに、目的がリーマンのPolyak-{\L}ojasiewicz性質に従うと仮定すると、RFedAGSが一定のステップサイズで生成する最適ギャップは、小さく上界まで線形に減少し、一方、減衰するステップサイズを使用すると、ギャップは下線的に消滅する。 合成および実世界のデータを用いて数値シミュレーションを行い,提案したRFedAGSの性能を実証した。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks [0.0]
  直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。 これを近似の一般化硬度における相転移現象と関連付ける。 結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
  論文  参考訳（メタデータ） (2023-07-13T13:27:51Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Riemannian Natural Gradient Methods [21.14740680011498]
  本稿では, 自然勾配法の自然な拡張と見なすことができる, 多様体設定におけるフィッシャー情報行列の概念を紹介する。 提案手法のほぼ完全な大域収束を標準仮定の下で確立する。 機械学習による応用に関する数値実験は、最先端の手法よりも提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2022-07-15T04:33:10Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks [13.385373310554327]
  Moreau subgradient 法は、機械学習における線形シャープネス問題を収束させる。 理論的保証を伴う下位段階法の分散実装を提案する。
  論文  参考訳（メタデータ） (2020-04-28T01:01:49Z)
• Self-Concordant Analysis of Frank-Wolfe Algorithms [3.3598755777055374]
  ポアソン逆問題 (Poisson inverse problem) や量子状態トモグラフィー (quantum state tomography) など、多くの応用において、損失は非有界曲率を持つ自己協和関数 (SC) によって与えられる。 SC関数の理論を用いて、FW法の新たな適応ステップサイズを提供し、k反復後の大域収束率 O(1/k) を証明する。
  論文  参考訳（メタデータ） (2020-02-11T11:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。