論文の概要: High-Probability Analysis of Online and Federated Zero-Order Optimisation

• arxiv url: http://arxiv.org/abs/2509.21484v1
• Date: Thu, 25 Sep 2025 19:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:53.953782
• Title: High-Probability Analysis of Online and Federated Zero-Order Optimisation
• Title（参考訳）: オンラインおよびフェデレートされたゼロオーダー最適化の高確率解析
• Authors: Arya Akhavan, David Janz, El-Mahdi El-Mhamdi,
• Abstract要約: 勾配のないゼロオーダー最適化の設定における分散学習について検討する。 我々は,厳密な理論的保証を提供するフェデレートゼロオーダーアルゴリズムであるFedZeroを紹介する。
• 参考スコア（独自算出の注目度）: 9.490725090002853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study distributed learning in the setting of gradient-free zero-order optimization and introduce FedZero, a federated zero-order algorithm that delivers sharp theoretical guarantees. Specifically, FedZero: (1) achieves near-optimal optimization error bounds with high probability in the federated convex setting; and (2) in the single-worker regime-where the problem reduces to the standard zero-order framework, establishes the first high-probability convergence guarantees for convex zero-order optimization, thereby strengthening the classical expectation-based results. At its core, FedZero employs a gradient estimator based on randomization over the $\ell_1$-sphere. To analyze it, we develop new concentration inequalities for Lipschitz functions under the uniform measure on the $\ell_1$-sphere, with explicit constants. These concentration tools are not only central to our high-probability guarantees but may also be of independent interest.
• Abstract（参考訳）: 我々は、勾配のないゼロオーダー最適化の設定における分散学習について研究し、厳密な理論的保証を提供するフェデレートゼロオーダーアルゴリズムであるFedZeroを紹介した。 特にFedZeroは,(1)フェデレーションされた凸設定において高い確率で近似最適化誤差を達成し,(2)標準ゼロオーダーフレームワークに問題を還元する単一作業者体制において,凸ゼロオーダー最適化のための最初の高確率収束保証を確立し,古典的な期待値に基づく結果を強化する。 中心となるのが、$\ell_1$-sphere 上のランダム化に基づく勾配推定器である。 これを解析するために、明示定数を持つ$\ell_1$-sphere 上の一様測度の下で、リプシッツ函数の新たな濃度不等式を開発する。 これらの集中ツールは、我々の高い確率保証の中心であるだけでなく、独立した関心事でもあるかもしれない。

関連論文リスト

• Graph-based Clustering Revisited: A Relaxation of Kernel $k$-Means Perspective [73.18641268511318]
  本稿では,クラスタリング結果を導出するための正規制約のみを緩和するグラフベースのクラスタリングアルゴリズムを提案する。 二重制約を勾配に変換するために、非負の制約をクラス確率パラメータに変換する。
  論文  参考訳（メタデータ） (2025-09-23T09:14:39Z)
• Zeroth-Order Optimization Finds Flat Minima [51.41529512093436]
  標準二点推定器によるゼロ階最適化は、ヘッセンの小さなトレースを持つ解を好むことを示す。 さらに、凸関数と十分に滑らかな関数に対する近似平坦なミニマに対して、ゼロ階最適化の収束率を提供する。
  論文  参考訳（メタデータ） (2025-06-05T17:59:09Z)
• Single Point-Based Distributed Zeroth-Order Optimization with a Non-Convex Stochastic Objective Function [14.986031916712108]
  勾配追跡手法の一点推定に基づくゼロ階分散最適化手法を提案する。 我々は,この手法が雑音条件下で数値関数と収束することを証明した。
  論文  参考訳（メタデータ） (2024-10-08T11:45:45Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization [8.670873561640903]
  分散環境下での非平滑な非平滑な目的に対する(delta,,ilon$)-定常点の有限時間解析について検討する。 $Oは分散非滑らかな最適化のための最初の有限時間保証である。
  論文  参考訳（メタデータ） (2024-06-03T16:09:34Z)
• FedZeN: Towards superlinear zeroth-order federated learning via incremental Hessian estimation [1.45179582111722]
  我々は,世界目標の曲率を推定するために,最初のフェデレーションゼロ次アルゴリズムを設計する。 誤差ノルムが線形に収束するインクリメンタルなヘッセン推定器を取り、それを連邦化ゼロ階数設定に適応させる。 我々はFedZeNというアルゴリズムの理論的解析を行い、確率の高い局所二次収束と、ゼロ階精度までの大域的線形収束を証明した。
  論文  参考訳（メタデータ） (2023-09-29T12:13:41Z)
• On Convergence of FedProx: Local Dissimilarity Invariant Bounds, Non-smoothness and Beyond [41.082982732100696]
  我々はFedProxの収束理論とアルゴリズム安定性のレンズによるミニバッチ拡張の新しい局所的な相似性を開発する。 一連のベンチマークFLデータセットの予備実験結果が報告され、FedProxのサンプル効率を改善するためのミニバッチの利点を示す。
  論文  参考訳（メタデータ） (2022-06-10T15:35:10Z)
• A gradient estimator via L1-randomization for online zero-order optimization with two point feedback [93.57603470949266]
  2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。 ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。 我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2022-05-27T11:23:57Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。