論文の概要: Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally

• arxiv url: http://arxiv.org/abs/2305.02247v1
• Date: Wed, 3 May 2023 16:32:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-04 14:09:12.466666
• Title: Select without Fear: Almost All Mini-Batch Schedules Generalize Optimally
• Title（参考訳）: select without fear: ほぼすべてのミニバッチスケジュールが最適に一般化する
• Authors: Konstantinos E. Nikolakakis, Amin Karbasi, Dionysis Kalogerias
• Abstract要約: 我々は、GD(GD)の上限値と一般化誤差境界値と、決定論的あるいは他の独立なデータとの整合性を確立する。 スムーズで非適応的な非損失に対して、フルバッチ(決定論的)GDが本質的にバッチスケジュールの中で最適であることを示す。
• 参考スコア（独自算出の注目度）: 29.752913259158326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish matching upper and lower generalization error bounds for mini-batch Gradient Descent (GD) training with either deterministic or stochastic, data-independent, but otherwise arbitrary batch selection rules. We consider smooth Lipschitz-convex/nonconvex/strongly-convex loss functions, and show that classical upper bounds for Stochastic GD (SGD) also hold verbatim for such arbitrary nonadaptive batch schedules, including all deterministic ones. Further, for convex and strongly-convex losses we prove matching lower bounds directly on the generalization error uniform over the aforementioned class of batch schedules, showing that all such batch schedules generalize optimally. Lastly, for smooth (non-Lipschitz) nonconvex losses, we show that full-batch (deterministic) GD is essentially optimal, among all possible batch schedules within the considered class, including all stochastic ones.
• Abstract（参考訳）: 我々は、決定的、確率的、データ非依存、その他の任意のバッチ選択ルールを用いて、GDトレーニングのための上限と下限の一般化誤差境界を確立する。 我々は滑らかなLipschitz-convex/nonconvex/strongly-convex損失関数を考察し、SGD(Stochastic GD)の古典的な上界が、任意の非適応バッチスケジュールに対して、すべての決定論的スケジュールを含む冗長性を持つことを示す。 さらに、凸と強凸の損失に対して、上記のバッチスケジュールのクラス上での一般化誤差の均一性を直接証明し、これらのバッチスケジュールが全て最適に一般化されることを示す。 最後に、スムーズな(非Lipschitz)非凸損失に対して、全バッチ(決定論的)GDが本質的に最適であることを示す。

関連論文リスト

• Global Well-posedness and Convergence Analysis of Score-based Generative Models via Sharp Lipschitz Estimates [1.3124513975412255]
  スコアベース生成モデル(SGM)のグローバルな適合性と収束性を確立する。 スムーズな場合、最適時間長のスコア関数のリプシッツ境界から始める。 最適性は、スコアのリプシッツ定数が初期で有界であるが有限時間で爆発する例によって検証される。
  論文  参考訳（メタデータ） (2024-05-25T07:31:24Z)
• Generalized Schrödinger Bridge Matching [54.171931505066]
  一般化Schr"odinger Bridge (GSB) 問題設定は、機械学習の内外を問わず、多くの科学領域で一般的である。 我々は最近の進歩に触発された新しいマッチングアルゴリズムである一般化シュリンガーブリッジマッチング(GSBM)を提案する。 このような一般化は条件最適制御の解法として、変分近似を用いることができることを示す。
  論文  参考訳（メタデータ） (2023-10-03T17:42:11Z)
• Beyond Lipschitz: Sharp Generalization and Excess Risk Bounds for Full-Batch GD [31.80268332522017]
  我々は、スムーズな損失(おそらく非Lipschitz)に対するフルバッチグラディエントデセント(GD)に対して、鋭い経路依存および過大なエラー保証を提供する。 我々の全バッチ一般化誤差と過剰リスク境界は、損失が滑らかである(しかし、おそらく非リプシッツ)GDの既存の境界よりもかなり厳密である。
  論文  参考訳（メタデータ） (2022-04-26T17:05:57Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness [2.628557920905129]
  我々は,オンライン凸最適化において,対人的損失と完全対人的損失を補間する新たな後悔境界を確立する。 この目的を達成するために、損失系列に関連する2つの重要な量を導入し、累積分散と対角変動と呼ぶ。 完全な i.d. の場合、我々の境界は加速の結果から期待される速度と一致し、完全に反対の場合、ミニマックスの後悔と一致するように優雅に劣化する。
  論文  参考訳（メタデータ） (2022-02-15T16:39:33Z)
• Black-Box Generalization [31.80268332522017]
  微分一般化によるブラックボックス学習のための最初の誤り解析を行う。 どちらの一般化も独立$d$,$K$であり、適切な選択の下では学習率がわずかに低下していることを示す。
  論文  参考訳（メタデータ） (2022-02-14T17:14:48Z)
• Relaxing the I.I.D. Assumption: Adaptively Minimax Optimal Regret via Root-Entropic Regularization [16.536558038560695]
  我々は、未知の制約セット内でデータを任意に生成する場合、専門家のアドバイスで予測する。 Hedgeアルゴリズムは、最近、i.d.データに対して同時にミニマックス最適であることが示されている。 我々は,すべてのレベルにおいてミニマックス後悔の上限と下限を一致させ,決定論的学習率を持つヘッジが極端外において最適以下であることを示し,すべてのレベルにおいてミニマックス後悔を適応的に得ることを証明した。
  論文  参考訳（メタデータ） (2020-07-13T17:54:34Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)
• Information Directed Sampling for Linear Partial Monitoring [112.05623123909895]
  線形報酬と観測構造を持つ部分的監視のための情報指向サンプリング(IDS)を導入する。 IDSは、ゲームの正確な可観測性条件に依存する適応的な最悪の後悔率を達成する。 結果がコンテキストおよびカーネル化設定にまで拡張され、アプリケーションの範囲が大幅に増加する。
  論文  参考訳（メタデータ） (2020-02-25T21:30:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。