論文の概要: Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping

• arxiv url: http://arxiv.org/abs/2006.10840v1
• Date: Thu, 18 Jun 2020 20:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 13:31:49.262611
• Title: Stochastic Gradient Descent in Hilbert Scales: Smoothness, Preconditioning and Earlier Stopping
• Title（参考訳）: ヒルベルトスケールの確率的勾配降下:滑らかさ、プレコンディショニング、早期停止
• Authors: Nicole M\"ucke and Enrico Reiss
• Abstract要約: 我々は、カーネルヒルベルト空間(RKHS)の再現における最小二乗学習を検討し、古典的なSGD解析をヒルベルトスケールの学習環境にまで拡張する。 十分に特定されたモデルであっても、従来のベンチマークスムーズ性仮定の違反は学習率に大きな影響を及ぼすことを示す。 さらに、ミス特定モデルに対しては、適切なヒルベルトスケールでのプレコンディショニングが反復回数を減らすのに役立つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic Gradient Descent (SGD) has become the method of choice for solving a broad range of machine learning problems. However, some of its learning properties are still not fully understood. We consider least squares learning in reproducing kernel Hilbert spaces (RKHSs) and extend the classical SGD analysis to a learning setting in Hilbert scales, including Sobolev spaces and Diffusion spaces on compact Riemannian manifolds. We show that even for well-specified models, violation of a traditional benchmark smoothness assumption has a tremendous effect on the learning rate. In addition, we show that for miss-specified models, preconditioning in an appropriate Hilbert scale helps to reduce the number of iterations, i.e. allowing for "earlier stopping".
• Abstract（参考訳）: SGD(Stochastic Gradient Descent)は、幅広い機械学習問題を解決する方法として選択されている。 しかし、その学習特性の一部は、まだ完全には理解されていない。 我々は、カーネルヒルベルト空間(rkhss)の再現における最小二乗学習を検討し、古典的sgd解析をコンパクトリーマン多様体上のソボレフ空間や拡散空間を含むヒルベルトスケールの学習集合へと拡張する。 従来型のベンチマーク・スムースネスの仮定に違反したモデルが学習率に多大な影響を与えていることを示す。 さらに,ミス特定モデルでは,適切なヒルベルトスケールでの事前条件付けが反復数を減らすこと,すなわち「早期停止」を可能にすることを示す。

関連論文リスト

• Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption [11.367487348673793]
  勾配勾配降下法(SGD)、重ボール法(SHB)、ネステロフ加速勾配法(SNAG)など、様々な勾配勾配降下法が、厳密なサドル多様体をほぼ確実に避けていることを示す。 SHB法とSNAG法でこのような結果が得られたのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-02-15T18:53:41Z)
• On the Convergence of Stochastic Gradient Descent for Linear Inverse Problems in Banach Spaces [0.0]
  勾配降下(SGD)は機械学習において最も成功した最適化手法の1つとして確立されている。 一般バナッハ空間における線形逆問題に対するSGDの新しい収束解析を提案する。
  論文  参考訳（メタデータ） (2023-02-10T12:00:49Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Optimal Learning Rates for Regularized Least-Squares with a Fourier Capacity Condition [14.910167993978487]
  我々は、ヒルベルトスケールにおけるTikhonov-regularized Learning問題の新しいクラスに対して、ミニマックス適応率を導出する。 我々は、メルサー作用素のスペクトルが適切なヒルベルトスケールの「タイト」埋め込みの存在下で推測できることを実証する。
  論文  参考訳（メタデータ） (2022-04-16T18:32:33Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• Direction Matters: On the Implicit Bias of Stochastic Gradient Descent with Moderate Learning Rate [105.62979485062756]
  本稿では,中等度学習におけるSGDの特定の正規化効果を特徴付けることを試みる。 SGDはデータ行列の大きな固有値方向に沿って収束し、GDは小さな固有値方向に沿って収束することを示す。
  論文  参考訳（メタデータ） (2020-11-04T21:07:52Z)
• Early stopping and polynomial smoothing in regression with reproducing kernels [2.0411082897313984]
  再生カーネルヒルベルト空間(RKHS)における反復学習アルゴリズムの早期停止問題について検討する。 本稿では,いわゆる最小不一致原理に基づく検証セットを使わずに早期停止を行うデータ駆動型ルールを提案する。 提案したルールは、異なるタイプのカーネル空間に対して、ミニマックス最適であることが証明されている。
  論文  参考訳（メタデータ） (2020-07-14T05:27:18Z)
• Stochastic Hamiltonian Gradient Methods for Smooth Games [51.47367707388402]
  ハミルトンの手法のクラスに焦点をあて、滑らかなゲームのあるクラスに対する最初の収束保証を提供する。 最適化文献からのツールを用いて、SHGDは勾配の近傍に直線的に収束することを示す。 この結果から,一般ゲームのクラスに対して,非漸近的でない最後の収束保証を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-08T15:42:13Z)
• Understanding Gradient Clipping in Private SGD: A Geometric Perspective [68.61254575987013]
  ディープラーニングモデルは、トレーニングデータが機密情報を含む可能性がある多くの機械学習アプリケーションで、ますます人気が高まっている。 多くの学習システムは、(異なる)プライベートSGDでモデルをトレーニングすることで、差分プライバシーを取り入れている。 各プライベートSGDアップデートにおける重要なステップは勾配クリッピングであり、L2ノルムがしきい値を超えると、個々の例の勾配を小さくする。
  論文  参考訳（メタデータ） (2020-06-27T19:08:12Z)
• Inverse learning in Hilbert scales [0.0]
  統計的学習環境における雑音データを用いた線形不定形逆問題について検討する。 ヒルベルトスケールの一般正規化スキームを用いてランダムノイズデータからの近似再構成を求める。
  論文  参考訳（メタデータ） (2020-02-24T12:49:54Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。