論文の概要: Stochastic Difference-of-Convex Optimization with Momentum

• arxiv url: http://arxiv.org/abs/2510.17503v1
• Date: Mon, 20 Oct 2025 13:00:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.455662
• Title: Stochastic Difference-of-Convex Optimization with Momentum
• Title（参考訳）: モーメントを用いた確率的差分凸最適化
• Authors: El Mahdi Chayti, Martin Jaggi,
• Abstract要約: 滑らかさの下での運動量収束は任意の大きさに対してバッチ収束仮定(凹部)を可能にすることを示す。 我々の運動量に基づくアルゴリズムは、証明可能な収束ステップを段階的に達成する。
• 参考スコア（独自算出の注目度）: 43.7624716532625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic difference-of-convex (DC) optimization is prevalent in numerous machine learning applications, yet its convergence properties under small batch sizes remain poorly understood. Existing methods typically require large batches or strong noise assumptions, which limit their practical use. In this work, we show that momentum enables convergence under standard smoothness and bounded variance assumptions (of the concave part) for any batch size. We prove that without momentum, convergence may fail regardless of stepsize, highlighting its necessity. Our momentum-based algorithm achieves provable convergence and demonstrates strong empirical performance.
• Abstract（参考訳）: 確率的差分凸(DC)最適化は、多くの機械学習アプリケーションで広く用いられているが、小さなバッチサイズでの収束特性はよく分かっていない。 既存の手法は一般に大きなバッチや強いノイズの仮定を必要とするため、実用的利用は制限される。 本研究では,任意のバッチサイズに対して,標準的な滑らかさと(凹部の)有界分散仮定の下での収束を可能にすることを示す。 運動量なしでは、収束は段差によらず失敗し、その必要性を浮き彫りにする。 我々の運動量に基づくアルゴリズムは証明可能な収束を実現し、強い経験的性能を示す。

関連論文リスト

• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• A Novel Unified Parametric Assumption for Nonconvex Optimization [53.943470475510196]
  非最適化は機械学習の中心であるが、一般の非凸性は弱い収束を保証するため、他方に比べて悲観的すぎる。 非凸アルゴリズムに新しい統一仮定を導入する。
  論文  参考訳（メタデータ） (2025-02-17T21:25:31Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• On the fast convergence of minibatch heavy ball momentum [5.4755933832880865]
  重球運動量は最適化問題に対する(決定論的)重球運動量の高速線形速度を保っていることを示す。 このアルゴリズムは,極小バッチと重い球運動量を持つランダム化カッツマーズアルゴリズムと解釈できる。
  論文  参考訳（メタデータ） (2022-06-15T14:12:45Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Convergence of a Stochastic Gradient Method with Momentum for Non-Smooth Non-Convex Optimization [25.680334940504405]
  本稿では,制約問題に対する運動量を持つ非滑らかな過渡法の割合の収束性を確立する。 問題としては、制約のないケースが、最先端技術よりも弱い仮定の下でどのように分析できるかを示す。
  論文  参考訳（メタデータ） (2020-02-13T12:10:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。