論文の概要: Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization

• arxiv url: http://arxiv.org/abs/2008.10847v3
• Date: Fri, 18 Jun 2021 04:56:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 04:26:54.134645
• Title: Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization
• Title（参考訳）: 確率的合成最適化の解法は確率的最適化の解法と同じくらい簡単である
• Authors: Tianyi Chen, Yuejiao Sun, Wotao Yin
• Abstract要約: 本稿では,新たに修正された構成勾配法(SCSC)を提案する。 SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成最適化のための勾配降下法(SGD)と同じ速度で収束することを保証している。
• 参考スコア（独自算出の注目度）: 47.93365664380274
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic compositional optimization generalizes classic (non-compositional) stochastic optimization to the minimization of compositions of functions. Each composition may introduce an additional expectation. The series of expectations may be nested. Stochastic compositional optimization is gaining popularity in applications such as reinforcement learning and meta learning. This paper presents a new Stochastically Corrected Stochastic Compositional gradient method (SCSC). SCSC runs in a single-time scale with a single loop, uses a fixed batch size, and guarantees to converge at the same rate as the stochastic gradient descent (SGD) method for non-compositional stochastic optimization. This is achieved by making a careful improvement to a popular stochastic compositional gradient method. It is easy to apply SGD-improvement techniques to accelerate SCSC. This helps SCSC achieve state-of-the-art performance for stochastic compositional optimization. In particular, we apply Adam to SCSC, and the exhibited rate of convergence matches that of the original Adam on non-compositional stochastic optimization. We test SCSC using the portfolio management and model-agnostic meta-learning tasks.
• Abstract（参考訳）: 確率的合成最適化は古典的(非合成的)確率的最適化を関数の構成の最小化に一般化する。 各構成は追加の期待を導入することができる。 一連の期待はネストされるかもしれない。 確率的構成最適化は強化学習やメタ学習などのアプリケーションで人気を集めている。 本稿では,Stochastically Corrected Stochastic Compositional gradient(SCSC)を提案する。 SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成確率最適化のための確率勾配勾配(SGD)法と同じ速度で収束することを保証している。 これは一般的な確率的組成勾配法に注意深く改良することで達成される。 SCSCを加速するためにSGD改善技術を適用するのは容易である。 これにより、SCSCは確率的合成最適化のための最先端のパフォーマンスを達成することができる。 特に、AdamをSCSCに適用し、非合成確率最適化において元のAdamと一致する収束率を示す。 ポートフォリオ管理とモデルに依存しないメタ学習タスクを用いてSCSCをテストする。

関連論文リスト

• Using Stochastic Gradient Descent to Smooth Nonconvex Functions: Analysis of Implicit Graduated Optimization [0.6906005491572401]
  バッチ降下勾配 (SGD) における雑音は, 目的関数の平滑化の効果を示す。 我々は,学習率とバッチサイズによってスムース化の度合いが変化する新しい累積最適化アルゴリズムを解析する。
  論文  参考訳（メタデータ） (2023-11-15T07:27:40Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Backward error analysis and the qualitative behaviour of stochastic optimization algorithms: Application to stochastic coordinate descent [1.534667887016089]
  一般最適化法の力学を近似した微分方程式のクラスを提案する。 座標降下の場合の修正方程式の安定性について検討する。
  論文  参考訳（メタデータ） (2023-09-05T09:39:56Z)
• Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms [61.59448949684493]
  学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
  論文  参考訳（メタデータ） (2023-07-07T02:40:09Z)
• Riemannian Stochastic Gradient Method for Nested Composition Optimization [0.0]
  この研究は、各函数が期待を含むリーマン多様体上のネスト形式の函数の構成の最適化を考える。 このような問題は、強化学習における政策評価やメタラーニングにおけるモデルカスタマイズといった応用において人気が高まっている。
  論文  参考訳（メタデータ） (2022-07-19T15:58:27Z)
• Stochastic Learning Rate Optimization in the Stochastic Approximation and Online Learning Settings [0.0]
  本研究では、最適化アルゴリズムの学習率に乗法性を適用し、学習速度スキームを創出する。 本研究では,この学習率スキームを備えたグラディエントDescentの理論的収束結果を示す。
  論文  参考訳（メタデータ） (2021-10-20T18:10:03Z)
• Momentum Accelerates the Convergence of Stochastic AUPRC Maximization [80.8226518642952]
  高精度リコール曲線(AUPRC)に基づく領域の最適化について検討し,不均衡なタスクに広く利用されている。 我々は、$O (1/epsilon4)$のより優れた反復による、$epsilon$定常解を見つけるための新しい運動量法を開発する。 また,O(1/epsilon4)$と同じ複雑さを持つ適応手法の新たなファミリを設計し,実際により高速な収束を享受する。
  論文  参考訳（メタデータ） (2021-07-02T16:21:52Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Stochastic Optimization with Heavy-Tailed Noise via Accelerated Gradient Clipping [69.9674326582747]
  そこで本研究では,重み付き分散雑音を用いたスムーズな凸最適化のための,クリップ付きSSTMと呼ばれる新しい1次高速化手法を提案する。 この場合、最先端の結果を上回る新たな複雑さが証明される。 本研究は,SGDにおいて,ノイズに対する光細かな仮定を伴わずにクリッピングを施した最初の非自明な高確率複雑性境界を導出した。
  論文  参考訳（メタデータ） (2020-05-21T17:05:27Z)
• Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization [20.410012564838933]
  構成最適化は、強化学習における価値関数の評価やポートフォリオ管理など、多くの重要な機械学習タスクで発生する。 本稿では, 一般的なスムーズな非帰納的設定における一般的な構成最適化について検討する。
  論文  参考訳（メタデータ） (2019-12-31T18:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。