論文の概要: Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms

• arxiv url: http://arxiv.org/abs/2307.03357v1
• Date: Fri, 7 Jul 2023 02:40:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 13:38:55.210840
• Title: Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
• Title（参考訳）: 確率的組成勾配降下アルゴリズムの安定性と一般化
• Authors: Ming Yang, Xiyuan Wei, Tianbao Yang, Yiming Ying
• Abstract要約: 学習例から構築した合成降下アルゴリズムの安定性と一般化解析について述べる。 SCGD と SCSC という2つの一般的な合成勾配勾配勾配アルゴリズムの均一安定性について検討した。 SCGD と SCSC の非依存的過剰リスク境界は,安定性結果と最適化誤差をトレードオフすることによって導出する。
• 参考スコア（独自算出の注目度）: 54.399646380269665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many machine learning tasks can be formulated as a stochastic compositional optimization (SCO) problem such as reinforcement learning, AUC maximization, and meta-learning, where the objective function involves a nested composition associated with an expectation. While a significant amount of studies has been devoted to studying the convergence behavior of SCO algorithms, there is little work on understanding their generalization, i.e., how these learning algorithms built from training examples would behave on future test examples. In this paper, we provide the stability and generalization analysis of stochastic compositional gradient descent algorithms through the lens of algorithmic stability in the framework of statistical learning theory. Firstly, we introduce a stability concept called compositional uniform stability and establish its quantitative relation with generalization for SCO problems. Then, we establish the compositional uniform stability results for two popular stochastic compositional gradient descent algorithms, namely SCGD and SCSC. Finally, we derive dimension-independent excess risk bounds for SCGD and SCSC by trade-offing their stability results and optimization errors. To the best of our knowledge, these are the first-ever-known results on stability and generalization analysis of stochastic compositional gradient descent algorithms.
• Abstract（参考訳）: 多くの機械学習タスクは、強化学習、AUC最大化、メタラーニングなどの確率的合成最適化(SCO)問題として定式化することができる。 scoアルゴリズムの収束挙動の研究に多くの研究が費やされているが、その一般化、すなわち、トレーニング例から構築されたこれらの学習アルゴリズムが将来のテスト例でどのように振る舞うかを理解する作業は少ない。 本稿では,統計的学習理論の枠組みにおけるアルゴリズム安定性のレンズを通して,確率的組成勾配降下アルゴリズムの安定性と一般化解析を行う。 まず,合成一様安定性と呼ばれる安定性概念を導入し,sco問題の一般化と定量的関係を確立する。 次に,scgd と scsc の2つの確率的組成勾配降下アルゴリズムについて,構成一様安定性結果を確立する。 最後に,SCGDとSCSCの寸法非依存過剰リスク境界を,安定性と最適化誤差をトレードオフすることによって導出する。 我々の知る限り、これらは確率的組成勾配勾配アルゴリズムの安定性と一般化解析に関する最初の既知の結果である。

関連論文リスト

• Stability and Generalization for Stochastic Recursive Momentum-based Algorithms for (Strongly-)Convex One to $K$-Level Stochastic Optimizations [20.809499420384256]
  STORMベースのアルゴリズムは、K$レベル(K geq 3$)の最適化問題を解決するために広く開発されている。 本稿では,STORMに基づく3つの代表的なアルゴリズムを包括的に分析する。
  論文  参考訳（メタデータ） (2024-07-07T07:07:04Z)
• Stability-based Generalization Analysis for Mixtures of Pointwise and Pairwise Learning [27.8712875561043]
  ポイントワイド・ペアワイド・ラーニング(PPL)のいくつかのアルゴリズムは、「ポイントワイド・ロスとペアワイド・ロス」のハイブリッド・エラー・メトリックを用いて定式化されている。 本稿では,PPLの一般化特性を解明し,この理論的ギャップを埋めようとしている。
  論文  参考訳（メタデータ） (2023-02-20T13:25:23Z)
• Exploring the Algorithm-Dependent Generalization of AUPRC Optimization with List Stability [107.65337427333064]
  AUPRC(Area Under the Precision-Recall Curve)の最適化は、機械学習にとって重要な問題である。 本研究では, AUPRC最適化の単依存一般化における最初の試行について述べる。 3つの画像検索データセットの実験は、我々のフレームワークの有効性と健全性に言及する。
  論文  参考訳（メタデータ） (2022-09-27T09:06:37Z)
• Stability and Generalization for Markov Chain Stochastic Gradient Methods [49.981789906200035]
  本稿では,最小化問題と最小化問題の両方に対して,MC-SGMの包括的一般化解析を行う。 我々はスムーズかつ非スムーズなケースに対して最適な過剰人口リスク境界を確立する。 コンベックス・コンケーブ問題に対する最初期のほぼ最適な収束率を期待と高い確率で開発する。
  論文  参考訳（メタデータ） (2022-09-16T15:42:51Z)
• Stability and Generalization of Stochastic Optimization with Nonconvex and Nonsmooth Problems [34.68590236021379]
  本稿では,アルゴリズム的安定度と定量的勾配と人口間のギャップについて述べる。 これらのアルゴリズムを、暗黙の規則的な反復ステップサイズと適応勾配勾配を達成するためにどのように適用するかを示す。
  論文  参考訳（メタデータ） (2022-06-14T18:14:30Z)
• Stability and Generalization for Randomized Coordinate Descent [19.687456295228156]
  RCDによってトレーニングされたモデルがどのように例をテストするかを研究する作業はない。 本稿では,アルゴリズム安定性の強力なツールを活用することにより,RCDの一般化解析を初期化する。 解析の結果,RCDは勾配降下よりも安定性がよいことがわかった。
  論文  参考訳（メタデータ） (2021-08-17T02:52:50Z)
• Solving Stochastic Compositional Optimization is Nearly as Easy as Solving Stochastic Optimization [47.93365664380274]
  本稿では,新たに修正された構成勾配法(SCSC)を提案する。 SCSCは単一ループで単一時間スケールで動作し、固定バッチサイズを使用し、非合成最適化のための勾配降下法(SGD)と同じ速度で収束することを保証している。
  論文  参考訳（メタデータ） (2020-08-25T06:54:00Z)
• A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm [59.99439951055238]
  我々は、(離散時間)リアプノフ安定性理論が、必ずしも勾配ベースではない最適化アルゴリズムの分析(および潜在的な設計)において、いかに強力なツールとして役立つかを示す。 本稿では,不完全データベイズフレームワークにおけるパラメータ推定を,MAP-EM (maximum a reari expectation-maximization) と呼ばれる一般的な最適化アルゴリズムを用いて行うことに着目したML問題について述べる。 高速収束(線形あるいは二次的)が達成され,S&Cアプローチを使わずに発表することが困難であった可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-23T01:34:18Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。