論文の概要: Any-stepsize Gradient Descent for Separable Data under Fenchel--Young Losses

• arxiv url: http://arxiv.org/abs/2502.04889v1
• Date: Fri, 07 Feb 2025 12:52:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:58:17.974204
• Title: Any-stepsize Gradient Descent for Separable Data under Fenchel--Young Losses
• Title（参考訳）: フェンシェル下での分離可能なデータのための任意のステップサイズのグラディエント染料--若年者
• Authors: Han Bao, Shinsaku Sakaue, Yuki Takezawa,
• Abstract要約: emphFenchel-Young損失の枠組みに基づく一般損失関数に対して任意のステップの勾配収束を示す。 我々は、自己有界性の代わりに損失関数の分岐マージンによって、これらのより良いレートが可能であると論じる。
• 参考スコア（独自算出の注目度）: 17.835960292396255
• License:
• Abstract: The gradient descent (GD) has been one of the most common optimizer in machine learning. In particular, the loss landscape of a neural network is typically sharpened during the initial phase of training, making the training dynamics hover on the edge of stability. This is beyond our standard understanding of GD convergence in the stable regime where arbitrarily chosen stepsize is sufficiently smaller than the edge of stability. Recently, Wu et al. (COLT2024) have showed that GD converges with arbitrary stepsize under linearly separable logistic regression. Although their analysis hinges on the self-bounding property of the logistic loss, which seems to be a cornerstone to establish a modified descent lemma, our pilot study shows that other loss functions without the self-bounding property can make GD converge with arbitrary stepsize. To further understand what property of a loss function matters in GD, we aim to show arbitrary-stepsize GD convergence for a general loss function based on the framework of \emph{Fenchel--Young losses}. We essentially leverage the classical perceptron argument to derive the convergence rate for achieving $\epsilon$-optimal loss, which is possible for a majority of Fenchel--Young losses. Among typical loss functions, the Tsallis entropy achieves the GD convergence rate $T=\Omega(\epsilon^{-1/2})$, and the R{\'e}nyi entropy achieves the far better rate $T=\Omega(\epsilon^{-1/3})$. We argue that these better rate is possible because of \emph{separation margin} of loss functions, instead of the self-bounding property.
• Abstract（参考訳）: 勾配降下(GD)は機械学習における最も一般的な最適化の1つである。 特に、ニューラルネットワークのロスランドスケープは通常、トレーニングの最初のフェーズでシャープされ、トレーニングのダイナミクスが安定性の端にホバリングされる。 これは、任意の選択されたステップサイズが安定性の端よりも十分に小さい安定な状態におけるGD収束の標準的理解を超えている。 最近、Wu et al (COLT2024) は、GD が線形分離可能なロジスティック回帰の下で任意のステップサイズに収束することを示した。 本研究は,ロジスティック損失の自己有界性に着目した解析であるが,自己有界性を持たない他の損失関数が任意の段階的にGDを収束させることを示す。 GD における損失関数のどの性質が重要であるかをさらに理解するために、我々は \emph{Fenchel--Young loss} の枠組みに基づく一般損失関数に対して任意のステップの GD 収束を示すことを目指している。 基本的には古典的パーセプトロンの議論を利用して$\epsilon$-Optimal Losを得られる収束率を導出する。 典型的な損失関数の中で、ツァリスエントロピーはGD収束率$T=\Omega(\epsilon^{-1/2})$、R{\'e}nyiエントロピーはより優れた速度$T=\Omega(\epsilon^{-1/3})$を達成する。 これらのより良い速度は、自己有界性の代わりに損失関数の 'emph{セパレーション・マージン' によって可能であると論じる。

関連論文リスト

• Large Stepsize Gradient Descent for Logistic Loss: Non-Monotonicity of the Loss Improves Optimization Efficiency [47.8739414267201]
  線形分離可能なデータを用いたロジスティック回帰に一定の段差を持つ勾配降下(GD)を考える。 GD はこの初期振動位相を急速に終了し、$mathcalO(eta)$ steps となり、その後$tildemathcalO (1 / (eta t) )$ convergence rate が得られることを示す。 我々の結果は、予算が$T$ ステップであれば、GD は攻撃的なステップサイズで $tildemathcalO (1/T2)$ の加速損失を達成できることを示している。
  論文  参考訳（メタデータ） (2024-02-24T23:10:28Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Cross-Entropy Loss Functions: Theoretical Analysis and Applications [27.3569897539488]
  本稿では, クロスエントロピー(あるいはロジスティック損失), 一般化クロスエントロピー, 平均絶対誤差, その他のクロスエントロピー様損失関数を含む, 幅広い損失関数群の理論解析について述べる。 これらの損失関数は,$H$-consistency bounds(===========================================================================)であることを証明する。 これにより、正規化された滑らかな逆数和損失を最小限に抑える新しい逆数堅牢性アルゴリズムがもたらされる。
  論文  参考訳（メタデータ） (2023-04-14T17:58:23Z)
• Lower Generalization Bounds for GD and SGD in Smooth Stochastic Convex Optimization [9.019243171993553]
  トレーニングステップ$T$とStep-size$eta$は、滑らかな凸最適化(SCO)問題の認定に影響を与える可能性がある。 まず、グラディエントDescent(GD)とグラディエントDescent(SGD)の厳密な過剰リスク低境界を提供する。 近年の作業は、より良い速度で達成できるが、トレーニング時間が長い場合には改善が減少する。
  論文  参考訳（メタデータ） (2023-03-19T20:24:33Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• From Gradient Flow on Population Loss to Learning with Stochastic Gradient Descent [50.4531316289086]
  SGD(Gradient Descent)は、大規模非ルートモデルの学習方法である。 集団損失のGFが収束すると仮定して、総合的な条件 SGD が収束する。 我々は、凸損失のような古典的な設定だけでなく、Retrieval Matrix sq-rootのようなより複雑な問題に対してもGD/SGDを統一的に解析する。
  論文  参考訳（メタデータ） (2022-10-13T03:55:04Z)
• On the Almost Sure Convergence of Stochastic Gradient Descent in Non-Convex Problems [75.58134963501094]
  本稿では,勾配降下(SGD)の軌跡を解析する。 我々はSGDが厳格なステップサイズポリシーのために1ドルでサドルポイント/マニフォールドを避けることを示す。
  論文  参考訳（メタデータ） (2020-06-19T14:11:26Z)
• The Implicit Bias of Gradient Descent on Separable Data [44.98410310356165]
  予測器は最大マージン(シャープマージンSVM)解の方向へ収束することを示す。 これは、トレーニングエラーがゼロになった後もロジスティックまたはクロスエントロピー損失を最適化し続ける利点を説明するのに役立つ。
  論文  参考訳（メタデータ） (2017-10-27T21:47:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。