論文の概要: Federated Learning on Riemannian Manifolds: A Gradient-Free Projection-Based Approach
- arxiv url: http://arxiv.org/abs/2507.22855v1
- Date: Wed, 30 Jul 2025 17:24:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-31 16:14:18.364568
- Title: Federated Learning on Riemannian Manifolds: A Gradient-Free Projection-Based Approach
- Title（参考訳）: リーマン多様体に関するフェデレートラーニング: 勾配自由射影に基づくアプローチ
- Authors: Hongye Wang, Zhaoye Pan, Chang He, Jiaxiang Li, Bo Jiang,
- Abstract要約: フェデレートラーニング(FL)は、分散クライアント間の協調モデルトレーニングのための強力なパラダイムとして登場した。
既存のFLアルゴリズムは主に、厳密な勾配情報を持つ制約のない最適化問題に重点を置いている。
- 参考スコア（独自算出の注目度）: 5.33725915743382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has emerged as a powerful paradigm for collaborative model training across distributed clients while preserving data privacy. However, existing FL algorithms predominantly focus on unconstrained optimization problems with exact gradient information, limiting its applicability in scenarios where only noisy function evaluations are accessible or where model parameters are constrained. To address these challenges, we propose a novel zeroth-order projection-based algorithm on Riemannian manifolds for FL. By leveraging the projection operator, we introduce a computationally efficient zeroth-order Riemannian gradient estimator. Unlike existing estimators, ours requires only a simple Euclidean random perturbation, eliminating the need to sample random vectors in the tangent space, thus reducing computational cost. Theoretically, we first prove the approximation properties of the estimator and then establish the sublinear convergence of the proposed algorithm, matching the rate of its first-order counterpart. Numerically, we first assess the efficiency of our estimator using kernel principal component analysis. Furthermore, we apply the proposed algorithm to two real-world scenarios: zeroth-order attacks on deep neural networks and low-rank neural network training to validate the theoretical findings.
- Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保持しながら、分散クライアント間で協調的なモデルトレーニングを行うための強力なパラダイムとして登場した。
しかし、既存のFLアルゴリズムは、厳密な勾配情報を持つ制約のない最適化問題に主に焦点を合わせ、ノイズの多い関数評価しかアクセスできない場合やモデルパラメータが制約される場合に適用性を制限する。
これらの課題に対処するために、FL に対するリーマン多様体上の新しいゼロ階射影ベースアルゴリズムを提案する。
プロジェクション演算子を利用することで、計算効率の良いゼロ階リーマン勾配推定器を導入する。
既存の推定器とは異なり、我々は単純なユークリッド乱摂動しか必要とせず、接空間のランダムベクトルをサンプリングする必要がなく、計算コストが削減される。
理論的には、まず推定器の近似特性を証明し、次に提案アルゴリズムのサブ線形収束を確立する。
まず,カーネルの主成分分析を用いて推定器の効率を評価する。
さらに、提案アルゴリズムは、ディープニューラルネットワークに対するゼロオーダー攻撃と低ランクニューラルネットワークトレーニングの2つの実世界のシナリオに適用し、理論的な結果を検証する。
関連論文リスト
- Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。
これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
論文 参考訳（メタデータ） (2025-03-22T21:16:08Z) - Eliminating Ratio Bias for Gradient-based Simulated Parameter Estimation [0.7673339435080445]
本稿では、可能性関数が解析的に利用できないモデルにおけるパラメータキャリブレーションの課題に対処する。
本稿では,最大推定と後続密度推定の両問題において,比バイアスの問題に対処するマルチタイムスケールを応用した勾配に基づくシミュレーションパラメータ推定フレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-20T02:46:15Z) - An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models [6.54203362045253]
線形ガウス構造方程式モデルに基づいて連続観測データからネットワークを学習する問題について検討する。
本稿では,$ell$penalized max chanceの最適目標値に収束する新しい座標降下アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-21T20:18:03Z) - Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。
本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
論文 参考訳（メタデータ） (2024-06-28T02:56:22Z) - Efficient Model-Free Exploration in Low-Rank MDPs [76.87340323826945]
低ランクマルコフ決定プロセスは、関数近似を持つRLに対して単純だが表現力のあるフレームワークを提供する。
既存のアルゴリズムは、(1)計算的に抽出可能であるか、または(2)制限的な統計的仮定に依存している。
提案手法は,低ランクMPPの探索のための最初の実証可能なサンプル効率アルゴリズムである。
論文 参考訳（メタデータ） (2023-07-08T15:41:48Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。
これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
論文 参考訳（メタデータ） (2021-07-26T18:11:07Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Guiding Neural Network Initialization via Marginal Likelihood
Maximization [0.9137554315375919]
活性化関数と共分散関数を持つガウス過程モデルとニューラルネットワークの関係を利用して、超パラメータ値を推定する。
本実験では,mnist分類タスクにおいて限界一貫性が最適に近い予測性能をもたらすことを示唆する。
論文 参考訳（メタデータ） (2020-12-17T21:46:09Z) - Learning Minimax Estimators via Online Learning [55.92459567732491]
確率分布のパラメータを推定するミニマックス推定器を設計する際の問題点を考察する。
混合ケースナッシュ平衡を求めるアルゴリズムを構築した。
論文 参考訳（メタデータ） (2020-06-19T22:49:42Z) - Stochastic Zeroth-order Riemannian Derivative Estimation and
Optimization [15.78743548731191]
多様体非線型性の非線型性の難しさを克服するために、ガウス滑らか化関数のオラクル版を提案する。
ニューラルネットワークに対するロボティクスとブラックボックス攻撃に対するブラックボックス剛性制御における,結果によるアルゴリズムの適用性と実世界の応用を実証する。
論文 参考訳（メタデータ） (2020-03-25T06:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。