論文の概要: Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe

• arxiv url: http://arxiv.org/abs/2605.15350v1
• Date: Thu, 14 May 2026 19:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.069206
• Title: Stochastic Compositional Optimization via Hybrid Momentum Frank--Wolfe
• Title（参考訳）: ハイブリッドモーメントフランク-ウルフによる確率的構成最適化
• Authors: El Mahdi Chayti,
• Abstract要約: 本研究では,mathcalXの$min_bmxを仮定するアルゴリズムを開発した。 この分析は、r$in (1, 2]$の有界モーメントを持つヘビーテールノイズオラクルにまで拡張され、ノイズとしてのノイズの率を回復する。
• 参考スコア（独自算出の注目度）: 1.3537117504260623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stochastic compositional optimization minimizes objectives of the form $\min_{\bm{x} \in \mathcal{X}} F(\bm{f}(\bm{x}), \bm{x})$, where $\bm{f}$ is accessible only through noisy stochastic queries. Existing methods for this problem assume that the outer function $F$ is continuously differentiable, which excludes many practically important applications such as robust max-of-losses, Conditional Value-at-Risk, and norm regularizers. We propose the Hybrid Momentum Stochastic Frank--Wolfe algorithm, which drops the smoothness assumption on $F$. By combining a momentum-based Jacobian tracker with a Taylor-corrected function tracker, the algorithm feeds an entire stochastic linearization -- rather than a single gradient -- into a generalized linear minimization oracle. We establish an $\mathcal{O}(K^{-1/4})$ convergence rate in the generalized Frank--Wolfe gap for non-convex objectives with $L_F$-Lipschitz outer functions, matching the optimal complexity for projection-free single-sample stochastic methods under expected smoothness. The analysis extends to heavy-tailed noise oracles with bounded $r$-th moments for $r \in (1, 2]$ and recovers the deterministic rates of Vladarean et al (2023) as the noise vanishes.
• Abstract（参考訳）: 確率的構成最適化は、$\min_{\bm{x} \in \mathcal{X}} F(\bm{f}(\bm{x}), \bm{x})$という形の目的を最小化する。 この問題の既存の方法は、外部関数 $F$ が連続的に微分可能であり、ロバストな最大値、条件付き値-アット・リスク、ノルム正規化子といった多くの実用上重要な応用を除外していると仮定する。 F$の滑らかさを仮定するHybrid Momentum Stochastic Frank-Wolfeアルゴリズムを提案する。 運動量に基づくヤコビアントラッカーとテイラー補正関数トラッカーを組み合わせることで、アルゴリズムは1つの勾配ではなく全確率線型化を一般化された線形最小化オラクルに供給する。 L_F$-Lipschitz外函数を持つ非凸対象に対する一般化されたフランク=ウルフギャップにおける$\mathcal{O}(K^{-1/4})$収束率を確立し、期待された滑らかさの下での射影のない単サンプル確率的手法の最適複雑性と一致する。 この分析は、r$1, 2]$の有界な$r$-thモーメントを持つ重尾ノイズオラクルにまで拡張し、ノイズが消えるにつれて、Vladarean et al (2023) の決定論的速度を回復する。

関連論文リスト

• A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization [3.8919212824749296]
  提案したSFOMは,目的関数の高次滑らか度を$f$とすることで,最適化を高速化できることを示す。 我々の知る限りでは、これは対象関数の任意の次スムーズネスを加速度に利用した最初のSFOMである。
  論文  参考訳（メタデータ） (2024-12-19T03:22:47Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• Oblivious Stochastic Composite Optimization [47.48197617884748]
  我々のアルゴリズムは問題のパラメータに関する事前の知識なしで収束することを示す。 3つのアルゴリズムは全て、実現可能な集合の直径、リプシッツ定数、あるいは目的関数の滑らかさについて事前の知識なしに機能する。 我々は,フレームワークを比較的大規模に拡張し,大規模半確定プログラム上での手法の効率性と堅牢性を実証する。
  論文  参考訳（メタデータ） (2023-06-30T08:34:29Z)
• Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization [52.25843977506935]
  有限サム構造をもつ$L$-smooth, non-deuction関数に対して, AdaSpider と呼ばれる適応分散法を提案する。 そうすることで、$tildeOleft + st/epsilonコールで$epsilon-stationaryポイントを計算することができます。
  論文  参考訳（メタデータ） (2022-11-03T14:41:46Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• A Projection-free Algorithm for Constrained Stochastic Multi-level Composition Optimization [12.096252285460814]
  合成最適化のためのプロジェクションフリー条件付き勾配型アルゴリズムを提案する。 提案アルゴリズムで要求されるオラクルの数と線形最小化オラクルは,それぞれ$mathcalO_T(epsilon-2)$と$mathcalO_T(epsilon-3)$である。
  論文  参考訳（メタデータ） (2022-02-09T06:05:38Z)
• Optimal and instance-dependent guarantees for Markovian linear stochastic approximation [47.912511426974376]
  標準スキームの最後の繰り返しの2乗誤差に対して、$t_mathrmmix tfracdn$の非漸近境界を示す。 マルコフ雑音による政策評価について,これらの結果のまとめを導出する。
  論文  参考訳（メタデータ） (2021-12-23T18:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。