論文の概要: Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms

• arxiv url: http://arxiv.org/abs/2609.11712v1
• Date: Thu, 10 Sep 2026 15:30:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.419383
• Title: Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
• Title（参考訳）: 分散カーネルに基づくロバスト勾配Descentアルゴリズムの一般化解析
• Abstract要約: 分散カーネルベースロバスト勾配勾配勾配(DKRGD)アルゴリズムの最適学習率を適切に選択したスケールパラメータ$$。 重要な技術的貢献は、作用素の積に対してはるかにシャープな境界を提供する新しいエラー解析である。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the generalization performance of distributed gradient descent algorithms in a reproducing kernel Hilbert space under a robust loss function $l_σ$. By exploiting the spectral characterization of gradient descent together with the intrinsic properties of robust loss functions, we establish optimal learning rates for the distributed kernel-based robust gradient descent (DKRGD) algorithm with an appropriately chosen scale parameter $σ$. The proposed parameter choice of $σ$ simultaneously alleviates the saturation phenomenon and guarantees statistical robustness. A key technical contribution is a novel error analysis that provides substantially sharper bounds for products of operators, thereby significantly relaxing existing restrictions on the maximum number of local machines while retaining optimal learning rates. Finally, we develop a communication-efficient strategy that further improves the convergence performance of DKRGD.
• Abstract（参考訳）: 本稿では、ロバスト損失関数$l_σ$の下で、再生カーネルヒルベルト空間における分散勾配降下アルゴリズムの一般化性能について検討する。 分散カーネルベースのロバスト勾配勾配勾配(DKRGD)アルゴリズムのスペクトル特性と、ロバスト損失関数の固有特性を併用して、適切に選択されたスケールパラメータ$σ$を用いて最適学習率を確立する。 提案した$σ$のパラメータ選択は飽和現象を同時に緩和し、統計的堅牢性を保証する。 重要な技術的貢献は、演算子の製品にはるかにシャープな境界を与える新しいエラー解析であり、これにより、最適な学習率を維持しながら、ローカルマシンの最大数に対する既存の制限を著しく緩和する。 最後に,DKRGDの収束性能をさらに向上させる通信効率向上戦略を開発する。

関連論文リスト

• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions [3.308257914042897]
  本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
  論文  参考訳（メタデータ） (2025-10-05T15:04:03Z)
• Theory of Decentralized Robust Kernel-Based Learning [8.407288892993703]
  我々は、カーネルヒルベルト空間を再現する枠組みの中で、新しい堅牢なカーネルベース学習アルゴリズムを提案する。 分散化アルゴリズムから生成された各局所ロバスト推定器を用いて回帰関数を近似することができることを示す。 局所的なサンプルサイズに対する厳密な選択ルールを提供し、適切に選択されたステップサイズとスケーリングパラメータ$sigma$では、分散化されたロバストアルゴリズムが最適な学習率を達成することができることを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:30:05Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• FastPart: Over-Parameterized Stochastic Gradient Descent for Sparse optimisation on Measures [3.377298662011438]
  本稿では,コニックパーティクルグラディエントDescent(CPGD)のスケーラビリティを高めるために,ランダム特徴と協調してグラディエントDescent戦略を利用する新しいアルゴリズムを提案する。 以下の重要な結果を示す厳密な数学的証明を提供する: $mathrm(i)$ 降下軌道に沿った解測度の総変動ノルムは有界であり、安定性を確保し、望ましくない発散を防ぐ。$mathrm(ii)$ 収束率$O(log(K)/sqrtK)$$$$$K以上の大域収束保証を確立する。
  論文  参考訳（メタデータ） (2023-12-10T20:41:43Z)
• Robust Stochastic Optimization via Gradient Quantile Clipping [6.2844649973308835]
  グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。 通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。 本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
  論文  参考訳（メタデータ） (2023-09-29T15:24:48Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
  本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。 我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
  論文  参考訳（メタデータ） (2022-09-19T18:48:00Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。