論文の概要: Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization

• arxiv url: http://arxiv.org/abs/2610.01572v1
• Date: Thu, 01 Oct 2026 12:32:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.11377
• Title: Optimal Momentum Methods for Stochastic Multilevel Compositional Optimization
• Title（参考訳）: 確率的多レベル合成最適化のための最適モーメント法
• Abstract要約: 本稿では,複数のスムーズな非パラメータからなるネスト構成を目的とするマルチレベル最適化について検討する。 我々は、運動量勾配推定器を構築するために、ミニバッチを持つ運動量ベース推定器を用いる。 また,関数値のクリッピングに一階近似を組み込んだバッチフリー手法を開発した。
• 参考スコア（独自算出の注目度）: 59.75358446504504
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates stochastic multi-level optimization where the objective is a nested composition of several smooth non-convex functions. We assume that only stochastic estimates of the gradient and function values for each level are accessible. Consequently, obtaining an accurate estimate of the overall gradient is challenging due to the nested structure. To address this, we employ a momentum-based estimator with mini-batches to track the function values of each level, which are subsequently used to construct momentum gradient estimators. We establish an optimal sample complexity of $\mathcal{O}(ε^{-4})$ for finding an $ε$-stationary point, avoiding the stronger average smoothness assumption commonly relied upon in prior literature. Furthermore, by employing a normalization technique, we attain the same rate without requiring problem-dependent constants to set hyperparameters. To achieve the optimal rate without mini-batches, we further develop a batch-free method that incorporates a first-order approximation and a clipping technique for function value estimation. Finally, we validate the effectiveness of our proposed methods through experiments on risk-averse portfolio optimization and hierarchical tilted empirical risk minimization.
• Abstract（参考訳）: 本稿では,複数のスムーズな非凸関数のネスト構成を目的とする確率的マルチレベル最適化について検討する。 各レベルの勾配と関数値の確率的推定のみがアクセス可能であると仮定する。 したがって、巣状構造のため、全体的な勾配を正確に推定することは困難である。 これを解決するために、各レベルの関数値を追跡するためにミニバッチを持つ運動量ベース推定器を使用し、その後、運動量勾配推定器を構築するために使用される。 我々は、$ε$-定常点を求めるために、$\mathcal{O}(ε^{-4})$の最適なサンプル複雑性を確立する。 さらに、正規化手法を用いることで、超パラメータの設定に問題依存定数を必要とせず、同じレートが得られる。 最小バッチを使わずに最適な速度を達成するために,一階近似と関数値推定のためのクリッピング手法を組み込んだバッチフリー手法をさらに開発する。 最後に,リスク-逆ポートフォリオ最適化と階層傾斜型経験的リスク最小化の実験により,提案手法の有効性を検証する。

関連論文リスト

• Stochastic Gradient Optimization with Model-Assisted Sampling [0.0]
  本稿では, サーベイサンプリング理論を用いて, ミニバッチ勾配を解釈するモデル支援サンプリングフレームワークを提案する。 本研究の目的は,機械学習の最適化とサンプリング理論の橋渡しであり,サンプルベース推定と分散低減を両立させることである。
  論文  参考訳（メタデータ） (2026-06-25T15:39:19Z)
• Convergence of Consensus-Based Particle Methods for Nonconvex Bi-Level Optimization [6.757107749537041]
  平均場法則は、目標二段階解の任意のワッサーシュタイン近傍に到達し、打点時間まで明示的な指数率を持つことを示す。
  論文  参考訳（メタデータ） (2026-05-19T11:00:05Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Stochastic Zeroth-Order Optimization under Strongly Convexity and Lipschitz Hessian: Minimax Sample Complexity [59.75300530380427]
  本稿では,アルゴリズムが検索対象関数の雑音評価にのみアクセス可能な2次スムーズかつ強い凸関数を最適化する問題を考察する。 本研究は, ミニマックス単純後悔率について, 一致した上界と下界を発達させることにより, 初めて厳密な評価を行ったものである。
  論文  参考訳（メタデータ） (2024-06-28T02:56:22Z)
• Adaptive Sampling Quasi-Newton Methods for Zeroth-Order Stochastic Optimization [1.7513645771137178]
  勾配情報のない制約のない最適化問題を考察する。 適応的なサンプリング準ニュートン法を提案し、共通乱数フレームワーク内の有限差を用いてシミュレーション関数の勾配を推定する。 そこで本研究では, 標準試験と内積準ニュートン試験の修正版を開発し, 近似に使用する試料サイズを制御し, 最適解の近傍に大域収束結果を与える。
  論文  参考訳（メタデータ） (2021-09-24T21:49:25Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。