論文の概要: Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study

• arxiv url: http://arxiv.org/abs/2003.06152v3
• Date: Tue, 22 Dec 2020 08:16:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 01:03:52.305790
• Title: Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
• Title（参考訳）: 暗黙のバイアスは一般化を説明できるのか? 確率凸最適化を事例として
• Authors: Assaf Dauber and Meir Feder and Tomer Koren and Roi Livni
• Abstract要約: 暗黙の正則化は最適化の一般化の傾向を、よく一般化されるある構造化された解へ向けたものである。 グラディエントDescent(SGD)の一般化能力を規定する電子分布に依存しない暗黙正則化器の存在を規定する簡単な構成を提供する。 次に, 強凸正則化や非退化ノルムベース正則化を含む一般化の説明から, 電子分布依存型暗黙正則化の非常に一般的なクラスを規定する学習問題を示す。
• 参考スコア（独自算出の注目度）: 43.586269524826854
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The notion of implicit bias, or implicit regularization, has been suggested as a means to explain the surprising generalization ability of modern-days overparameterized learning algorithms. This notion refers to the tendency of the optimization algorithm towards a certain structured solution that often generalizes well. Recently, several papers have studied implicit regularization and were able to identify this phenomenon in various scenarios. We revisit this paradigm in arguably the simplest non-trivial setup, and study the implicit bias of Stochastic Gradient Descent (SGD) in the context of Stochastic Convex Optimization. As a first step, we provide a simple construction that rules out the existence of a \emph{distribution-independent} implicit regularizer that governs the generalization ability of SGD. We then demonstrate a learning problem that rules out a very general class of \emph{distribution-dependent} implicit regularizers from explaining generalization, which includes strongly convex regularizers as well as non-degenerate norm-based regularizations. Certain aspects of our constructions point out to significant difficulties in providing a comprehensive explanation of an algorithm's generalization performance by solely arguing about its implicit regularization properties.
• Abstract（参考訳）: 暗黙のバイアス、あるいは暗黙の正規化の概念は、現代の過パラメータ学習アルゴリズムの驚くべき一般化能力を説明する手段として提案されている。 この概念は、しばしばよく一般化されるある構造化解に対する最適化アルゴリズムの傾向を指す。 最近、いくつかの論文が暗黙の正則化を研究し、様々なシナリオでこの現象を特定できた。 我々はこのパラダイムを最も単純な非自明な設定で再検討し、確率的凸最適化の文脈で確率的勾配降下(sgd)の暗黙的バイアスを研究する。 第一段階として、sgd の一般化能力を規定する \emph{distribution-independent} 暗黙の正規化子の存在を除外する単純な構成を提供する。 次に、強凸正則化や非退化ノルムベース正則化を含む一般化の説明から、非常に一般クラスである \emph{distribution-dependent} の暗黙正則化を規定する学習問題を示す。 構成の特定の側面は、アルゴリズムの一般化性能を暗黙の正規化特性についてのみ論じることによって包括的に説明することの難しさを指摘する。

関連論文リスト

• A Unified Approach to Controlling Implicit Regularization via Mirror Descent [18.536453909759544]
  ミラー降下(MD)は勾配降下(GD)の顕著な一般化である MDを効率的に実装することができ、適切な条件下での高速収束を享受できることを示す。
  論文  参考訳（メタデータ） (2023-06-24T03:57:26Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Iterative regularization for low complexity regularizers [18.87017835436693]
  反復正則化は、最適化アルゴリズムの暗黙のバイアスを利用して不正な問題を正則化する。 非滑らかかつ非凸な関数によって記述されるバイアスを処理できる最初の反復正則化手法を提案し,研究する。
  論文  参考訳（メタデータ） (2022-02-01T14:09:00Z)
• Stochastic Training is Not Necessary for Generalization [57.04880404584737]
  勾配降下の暗黙的な正則化(SGD)は、ニューラルネットワークで観測される印象的な一般化の振る舞いに基礎的であると広く信じられている。 本研究では,SGDと同等のCIFAR-10において,非確率的フルバッチトレーニングが強力な性能を発揮することを示す。
  論文  参考訳（メタデータ） (2021-09-29T00:50:00Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
  我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。 解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
  論文  参考訳（メタデータ） (2021-02-07T14:47:00Z)
• Failures of model-dependent generalization bounds for least-norm interpolation [39.97534972432276]
  最小ノルム線形回帰器の一般化性能に関するバウンダリを考察する。 訓練例における様々な自然な関節分布に対して、任意の有効な一般化境界は非常に緩くなければならない。
  論文  参考訳（メタデータ） (2020-10-16T16:30:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。