論文の概要: STIMULUS: Achieving Fast Convergence and Low Sample Complexity in Stochastic Multi-Objective Learning

• arxiv url: http://arxiv.org/abs/2506.19883v1
• Date: Tue, 24 Jun 2025 03:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.470397
• Title: STIMULUS: Achieving Fast Convergence and Low Sample Complexity in Stochastic Multi-Objective Learning
• Title（参考訳）: STIMULUS:確率的多目的学習における高速収束と低サンプル複雑性の実現
• Authors: Zhuqing Liu, Chaosheng Dong, Michinari Momma, Simone Shao, Shaoyuan Xu, Yan Gao, Haibo Yang, Jia Liu,
• Abstract要約: マルチオブジェクト最適化(MOO)は、ML、オペレーション、研究、エンジニアリングにおける幅広い応用において注目を集めている。 そこで本研究では,MOOの新しい頑健なアプローチであるSTIMULUSを提案する。 さらに,STimULUS-Mと呼ばれる収束を高速化するために運動量項を組み込んだSTimULusの強化版を導入する。
• 参考スコア（独自算出の注目度）: 22.945520102342414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, multi-objective optimization (MOO) has gained attention for its broad applications in ML, operations research, and engineering. However, MOO algorithm design remains in its infancy and many existing MOO methods suffer from unsatisfactory convergence rate and sample complexity performance. To address this challenge, in this paper, we propose an algorithm called STIMULUS( stochastic path-integrated multi-gradient recursive e\ulstimator), a new and robust approach for solving MOO problems. Different from the traditional methods, STIMULUS introduces a simple yet powerful recursive framework for updating stochastic gradient estimates to improve convergence performance with low sample complexity. In addition, we introduce an enhanced version of STIMULUS, termed STIMULUS-M, which incorporates a momentum term to further expedite convergence. We establish $O(1/T)$ convergence rates of the proposed methods for non-convex settings and $O (\exp{-\mu T})$ for strongly convex settings, where $T$ is the total number of iteration rounds. Additionally, we achieve the state-of-the-art $O \left(n+\sqrt{n}\epsilon^{-1}\right)$ sample complexities for non-convex settings and $O\left(n+ \sqrt{n} \ln ({\mu/\epsilon})\right)$ for strongly convex settings, where $\epsilon>0$ is a desired stationarity error. Moreover, to alleviate the periodic full gradient evaluation requirement in STIMULUS and STIMULUS-M, we further propose enhanced versions with adaptive batching called STIMULUS+/ STIMULUS-M+ and provide their theoretical analysis.
• Abstract（参考訳）: 近年,多目的最適化 (MOO) がML, 運用研究, 工学の幅広い応用に注目されている。 しかし、MOOアルゴリズムの設計はまだ初期段階であり、既存のMOO手法の多くは不満足な収束率とサンプル複雑性性能に悩まされている。 そこで本研究では,MOO問題の解法としてSTIMULUS(Stochastic path-integrated multi-gradient recursive e\ulstimator)というアルゴリズムを提案する。 従来の手法とは異なり、STIMULUSは確率的勾配推定を更新し、サンプルの複雑さを低くして収束性能を向上させるための、シンプルだが強力な再帰的フレームワークを導入している。 さらに,STIMULUS-Mと呼ばれる拡張版のSTIMULUSを導入する。 我々は、非凸設定のための提案されたメソッドの$O(1/T)$収束率と強い凸設定のための$O(\exp{-\mu T})$を確立し、そこで、$T$は反復ラウンドの総数である。 さらに、最先端の$O \left(n+\sqrt{n}\epsilon^{-1}\right)$サンプル複雑度を非凸設定に、$O\left(n+ \sqrt{n} \ln ({\mu/\epsilon})\right)$を強凸設定に、$\epsilon>0$を所望の定常誤差とする。 さらに,STimulusとSTimulus-Mの周期的全勾配評価要求を軽減するため,STimulus+/STimulus-M+と呼ばれる適応バッチ処理による拡張版を提案し,その理論的解析を行った。

関連論文リスト

• Accelerated Stochastic Min-Max Optimization Based on Bias-corrected Momentum [30.01198677588252]
  1次アルゴリズムは、$varepsilon-stationary pointを見つけるのに少なくとも$mathcalO(varepsilonepsilon-4)$ complexityを必要とする。 本稿では,高効率な変動複雑性を生かした新しい運動量アルゴリズムを提案する。 本手法の有効性は実世界のデータセットを用いてロジスティック回帰を用いて検証する。
  論文  参考訳（メタデータ） (2024-06-18T20:14:52Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• Stochastic Inexact Augmented Lagrangian Method for Nonconvex Expectation Constrained Optimization [88.0031283949404]
  多くの実世界の問題は複雑な非機能的制約を持ち、多くのデータポイントを使用する。 提案手法は,従来最もよく知られた結果で既存手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-19T14:48:54Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• Riemannian stochastic recursive momentum method for non-convex optimization [36.79189106909088]
  我々は,1回の反復で$mathcalOグラデーション評価を行うための atildeOepsilon$-approximate gradient Evaluations 法を提案する。 提案した実験はアルゴリズムの優越性を実証するものである。
  論文  参考訳（メタデータ） (2020-08-11T07:05:58Z)
• Stochastic Proximal Gradient Algorithm with Minibatches. Application to Large Scale Learning Models [2.384873896423002]
  非滑らかな成分を持つ汎用合成対象関数に対する勾配アルゴリズムのミニバッチ変種を開発し解析する。 我々は、最小バッチサイズ$N$に対して、$mathcalO(frac1Nepsilon)$$epsilon-$subityが最適解に期待される二次距離で達成されるような、定数および変数のステップサイズ反復ポリシーの複雑さを提供する。
  論文  参考訳（メタデータ） (2020-03-30T10:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。