論文の概要: Finite-Sum Compositional Stochastic Optimization: Theory and Applications

• arxiv url: http://arxiv.org/abs/2202.12396v1
• Date: Thu, 24 Feb 2022 22:39:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 02:16:19.082403
• Title: Finite-Sum Compositional Stochastic Optimization: Theory and Applications
• Title（参考訳）: 有限和合成確率最適化:理論と応用
• Authors: Bokun Wang and Tianbao Yang
• Abstract要約: 本稿ではメタマンドの各和の内層関数の対応する和に結合した合成関数の和について述べる。 本研究の貢献は,非目的と客観的目的の両方に対して,包括的分析あるいは簡単なアルゴリズムを提供することである。
• 参考スコア（独自算出の注目度）: 43.48388050033774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies stochastic optimization for a sum of compositional functions, where the inner-level function of each summand is coupled with the corresponding summation index. We refer to this family of problems as finite-sum coupled compositional optimization (FCCO). It has broad applications in machine learning for optimizing non-convex or convex compositional measures/objectives such as average precision (AP), $p$-norm push, listwise ranking losses, neighborhood component analysis (NCA), deep survival analysis, deep latent variable models, softmax functions, and model agnostic meta-learning, which deserves finer analysis. Yet, existing algorithms and analysis are restricted in one or other aspects. The contribution of this paper is to provide a comprehensive analysis of a simple stochastic algorithm for both non-convex and convex objectives. The key results are {\bf improved oracle complexities with the parallel speed-up} by the moving-average based stochastic estimator with mini-batching. Our theoretical analysis also exhibits new insights for improving the practical implementation by sampling the batches of equal size for the outer and inner levels. Numerical experiments on AP maximization and $p$-norm push optimization corroborate some aspects of the theory.
• Abstract（参考訳）: 本稿では,合成関数の和に対する確率的最適化について検討する。 この問題を有限サム結合合成最適化(FCCO)と呼ぶ。 平均精度 (ap), $p$-norm push, listwise ranking loss, neighborhood component analysis (nca), deep survival analysis, deep latent variable model, softmax function, model agnostic meta-learningなど,非凸あるいは凸構成尺度/目的を最適化するための機械学習の幅広い応用がある。 しかし、既存のアルゴリズムと分析は1つ以上の面で制限されている。 本稿では,非凸目的と凸目的の両方に対して,単純な確率的アルゴリズムの包括的解析を行う。 主な結果は、ミニバッチによる移動平均ベースの確率的推定器による、並列速度アップによるoracleの複雑さの改善である。 また,本理論解析では,外層と内層で等サイズのバッチをサンプリングすることにより,実用的な実装を改善するための新たな知見を示す。 ap最大化と$p$-normプッシュ最適化に関する数値実験は、理論のいくつかの側面を裏付ける。

関連論文リスト

• Nonconvex Federated Learning on Compact Smooth Submanifolds With Heterogeneous Data [23.661713049508375]
  本稿では,クライアントの設定においてサブマニフォールド上で学習するアルゴリズムを提案する。 提案アルゴリズムは,新しい解析手法を用いて一階最適解の近傍に部分収束することを示す。
  論文  参考訳（メタデータ） (2024-06-12T17:53:28Z)
• Federated Conditional Stochastic Optimization [110.513884892319]
  条件付き最適化は、不変学習タスク、AUPRC、AMLなど、幅広い機械学習タスクで見られる。 本稿では,分散フェデレーション学習のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-04T01:47:37Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• A theoretical and empirical study of new adaptive algorithms with additional momentum steps and shifted updates for stochastic non-convex optimization [0.0]
  適応最適化アルゴリズムは学習分野の鍵となる柱を表現していると考えられる。 本稿では,異なる非滑らかな目的問題に対する適応運動量法を提案する。
  論文  参考訳（メタデータ） (2021-10-16T09:47:57Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters [152.03852111442114]
  モデルに依存しないメタラーニング(MAML)は非常に成功したアルゴリズムメタラーニングの実践であるが、高い計算複雑性を持つ。 本稿では,その複雑さがANILの全体的な収束性能に大きく影響することを示す。
  論文  参考訳（メタデータ） (2020-06-16T19:57:48Z)
• Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization [20.410012564838933]
  構成最適化は、強化学習における価値関数の評価やポートフォリオ管理など、多くの重要な機械学習タスクで発生する。 本稿では, 一般的なスムーズな非帰納的設定における一般的な構成最適化について検討する。
  論文  参考訳（メタデータ） (2019-12-31T18:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。