論文の概要: Generalization Guarantees of Randomized Block Coordinate Descent for Nonconvex Learning

• arxiv url: http://arxiv.org/abs/2610.22213v2
• Date: Wed, 21 Oct 2026 16:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:05.962299
• Title: Generalization Guarantees of Randomized Block Coordinate Descent for Nonconvex Learning
• Title（参考訳）: 非凸学習におけるランダム化ブロック座標の一般化保証
• Abstract要約: Randomized Block coordinate descent (RBCD) は、多くの大規模機械学習問題に対する一般的な最適化アルゴリズムである。 本稿では,RBCDが支配する非目的構造に対する一般化保証を確立する。 損失支配問題に対する勾配独立境界の観点で、境界非依存境界を提供する。
• 参考スコア（独自算出の注目度）: 3.9026361109438454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Randomized block coordinate descent (RBCD) is a popular optimization algorithm for many large-scale machine learning problems. The existing theoretical analysis of RBCD mainly focuses on its convergence behavior from an optimization perspective, while its generalization behavior remains less understood for nonconvex problems. In this paper, we establish high-probability generalization guarantees for RBCD with nonconvex objectives. In the general nonconvex setting, we derive bounds on the gradients of both empirical and population risks, requiring only standard smoothness assumptions. With polynomially decaying step sizes, we tune the iteration number to balance optimization and generalization, thereby quantifying how early stopping leads to the optimal convergence rate for the population gradients. In the gradient-dominated setting, we provide bounds in terms of functional suboptimality, which nearly match the optimistic rates in convex and low-noise settings. Finally, we develop dimension-independent bounds for loss functions of a specific structure, making the generalization guarantees applicable to high-dimensional problems.
• Abstract（参考訳）: Randomized Block coordinate descent (RBCD) は、多くの大規模機械学習問題に対する一般的な最適化アルゴリズムである。 既存のRBCDの理論解析は主に最適化の観点から収束挙動に焦点をあてるが、その一般化挙動は非凸問題では理解されていない。 本稿では,非凸目的のRBCDの高確率一般化保証を確立する。 一般の非凸設定では、経験的リスクと人口的リスクの両方の勾配に境界を導出し、標準の滑らかさの仮定しか必要としない。 多項式的に減衰するステップサイズで、最適化と一般化のバランスをとるために反復数を調整し、集団勾配の最適収束率にどれだけ早く停止するかを定量化する。 勾配が支配的な設定では、凸や低雑音の設定における楽観的な速度とほぼ一致する機能的部分最適性の観点から境界を与える。 最後に、特定の構造の損失関数に対する次元非依存境界を開発し、高次元問題に適用可能な一般化を保証する。

関連論文リスト

• Stochastic Non-Smooth Convex Optimization with Unbounded Gradients [10.350093268971836]
  我々は,クリップされたAdamWが,SGDWやAdaGradといった他の一般的な最適化手法よりも理論的に優れていることを示す。 また,AdamWの指数的に重み付けされた蓄積の重要な役割を,単純な平均化とは対照的に確立する。
  論文  参考訳（メタデータ） (2026-05-15T01:43:22Z)
• Fine-grained Analysis of Stability and Generalization for Stochastic Bilevel Optimization [71.33048115652474]
  バイレベル最適化(SBO)は、最近多くの機械学習パラダイムに統合されている。 本稿では,二段階最適化手法の体系的解析について述べる。 結果は再読解を必要とせず、より汎用的な目的関数に適用できる。
  論文  参考訳（メタデータ） (2026-04-05T12:12:58Z)
• Truncated Kernel Stochastic Gradient Descent with General Losses and Spherical Radial Basis Functions [3.308257914042897]
  本稿では,大規模教師あり学習のための新しいカーネル勾配統合下降アルゴリズムを提案する。 従来のカーネルSGDと比較して,我々のアルゴリズムは革新的な正規化戦略によって効率とスケーラビリティを向上させる。 我々のフレームワークは、最小二乗、ハマー、ロジスティック損失など、古典的損失関数の幅広いクラスに対応している。
  論文  参考訳（メタデータ） (2025-10-05T15:04:03Z)
• New Lower Bounds for Stochastic Non-Convex Optimization through Divergence Decomposition [11.530542389959347]
  L-凸性(QC)、擬似成長(SmoothQG)、制限不等式(RSI)などの非次元設定における一階最適化の基本的限界を示す。
  論文  参考訳（メタデータ） (2025-02-19T19:21:00Z)
• Error Feedback under $(L_0,L_1)$-Smoothness: Normalization and Momentum [56.37522020675243]
  機械学習の幅広い問題にまたがる正規化誤差フィードバックアルゴリズムに対する収束の最初の証明を提供する。 提案手法では,許容可能なステップサイズが大きくなったため,新しい正規化エラーフィードバックアルゴリズムは,各種タスクにおける非正規化エラーよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-22T10:19:27Z)
• Randomized Coordinate Subgradient Method for Nonsmooth Composite Optimization [11.017632675093628]
  非滑らかな問題に対処するコーディネート型劣階法は、リプシッツ型仮定の性質のセットのため、比較的過小評価されている。
  論文  参考訳（メタデータ） (2022-06-30T02:17:11Z)
• Faster Algorithm and Sharper Analysis for Constrained Markov Decision Process [56.55075925645864]
  制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。 新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。 これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
  論文  参考訳（メタデータ） (2021-10-20T02:57:21Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
  近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
  論文  参考訳（メタデータ） (2020-12-11T08:28:51Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。