論文の概要: Riemannian Federated Learning via Averaging Gradient Streams

• arxiv url: http://arxiv.org/abs/2409.07223v2
• Date: Sun, 19 Oct 2025 09:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:38.085341
• Title: Riemannian Federated Learning via Averaging Gradient Streams
• Title（参考訳）: Riemannian Federated Learning by A averageaging Gradient Streams
• Authors: Zhenwei Huang, Wen Huang, Pratik Jawanpuria, Bamdev Mishra,
• Abstract要約: 分散学習パラダイムとしてのフェデレートラーニング(FL)は、大規模な機械学習タスクに対処する上で大きな利点がある。 本稿では、RFedAGSと呼ばれる勾配ストリームを平均化する、新しい効率的なサーバアグリゲーションを提示、分析する。 提案したRFedAGSは, 崩壊するステップサイズの場合において, グローバル収束率とサブ線形収束率を有することを示す。
• 参考スコア（独自算出の注目度）: 10.533809913888591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) as a distributed learning paradigm has a significant advantage in addressing large-scale machine learning tasks. In the Euclidean setting, FL algorithms have been extensively studied with both theoretical and empirical success. However, there exist few works that investigate federated learning algorithms in the Riemannian setting. In particular, critical challenges such as partial participation and data heterogeneity among agents are not explored in the Riemannian federated setting. This paper presents and analyzes a Riemannian FL algorithm, called RFedAGS, based on a new efficient server aggregation -- averaging gradient streams, which can simultaneously handle partial participation and data heterogeneity. We theoretically show that the proposed RFedAGS has global convergence and sublinear convergence rate under decaying step sizes cases; and converges sublinearly/linearly to a neighborhood of a stationary point/solution under fixed step sizes cases. These analyses are based on a vital and non-trivial assumption induced by partial participation, which is shown to hold with high probability. Extensive experiments conducted on synthetic and real-world data demonstrate the good performance of RFedAGS.
• Abstract（参考訳）: 分散学習パラダイムとしてのフェデレートラーニング(FL)は、大規模な機械学習タスクに対処する上で大きな利点がある。 ユークリッドの環境では、FLアルゴリズムは理論的および経験的成功の両方で広く研究されている。 しかし、リーマン的セッティングにおいて連合学習アルゴリズムを研究する研究はほとんどない。 特に、部分的参加やエージェント間のデータの異質性といった重要な課題は、リーマン連邦環境では探索されない。 本稿では, RFedAGSと呼ばれるリーマンFLアルゴリズムを, 部分的参加とデータ不均一性を同時に処理可能な平均勾配ストリームに基づく, 効率的なサーバアグリゲーションに基づいて提案し, 解析する。 提案したRFedAGSは, 減衰ステップサイズの場合, 大域収束率とサブ線形収束率を有し, 固定ステップサイズの場合, 定常点/解の近傍に直交・直線的に収束することを示した。 これらの分析は、部分的参加によって誘導される重要で非自明な仮定に基づいており、高い確率で成り立つことが示されている。 合成および実世界のデータを用いた大規模な実験は、RFedAGSの優れた性能を示す。

関連論文リスト

• A Sample Efficient Alternating Minimization-based Algorithm For Robust Phase Retrieval [56.67706781191521]
  そこで本研究では,未知の信号の復元を課題とする,ロバストな位相探索問題を提案する。 提案するオラクルは、単純な勾配ステップと外れ値を用いて、計算学的スペクトル降下を回避している。
  論文  参考訳（メタデータ） (2024-09-07T06:37:23Z)
• Riemannian stochastic optimization methods avoid strict saddle points [68.80251170757647]
  研究中のポリシーは、確率 1 の厳密なサドル点/部分多様体を避けていることを示す。 この結果は、アルゴリズムの極限状態が局所最小値にしかならないことを示すため、重要な正当性チェックを提供する。
  論文  参考訳（メタデータ） (2023-11-04T11:12:24Z)
• Implicit regularization in AI meets generalized hardness of approximation in optimization -- Sharp results for diagonal linear networks [0.0]
  直交線形ネットワークの勾配流による暗黙の正規化について, 鋭い結果を示す。 これを近似の一般化硬度における相転移現象と関連付ける。 結果の非シャープ性は、基礎追従最適化問題に対して、GHA現象が起こらないことを意味する。
  論文  参考訳（メタデータ） (2023-07-13T13:27:51Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Riemannian Natural Gradient Methods [21.14740680011498]
  本稿では, 自然勾配法の自然な拡張と見なすことができる, 多様体設定におけるフィッシャー情報行列の概念を紹介する。 提案手法のほぼ完全な大域収束を標準仮定の下で確立する。 機械学習による応用に関する数値実験は、最先端の手法よりも提案手法の利点を実証している。
  論文  参考訳（メタデータ） (2022-07-15T04:33:10Z)
• First-Order Algorithms for Min-Max Optimization in Geodesic Metric Spaces [93.35384756718868]
  min-maxアルゴリズムはユークリッド設定で解析されている。 指数関数法 (RCEG) が線形速度で最終収束を補正したことを証明した。
  論文  参考訳（メタデータ） (2022-06-04T18:53:44Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks [13.385373310554327]
  Moreau subgradient 法は、機械学習における線形シャープネス問題を収束させる。 理論的保証を伴う下位段階法の分散実装を提案する。
  論文  参考訳（メタデータ） (2020-04-28T01:01:49Z)
• Self-Concordant Analysis of Frank-Wolfe Algorithms [3.3598755777055374]
  ポアソン逆問題 (Poisson inverse problem) や量子状態トモグラフィー (quantum state tomography) など、多くの応用において、損失は非有界曲率を持つ自己協和関数 (SC) によって与えられる。 SC関数の理論を用いて、FW法の新たな適応ステップサイズを提供し、k反復後の大域収束率 O(1/k) を証明する。
  論文  参考訳（メタデータ） (2020-02-11T11:30:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。