論文の概要: Simplicity Bias via Global Convergence of Sharpness Minimization

• arxiv url: http://arxiv.org/abs/2410.16401v1
• Date: Mon, 21 Oct 2024 18:10:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:29:44.207982
• Title: Simplicity Bias via Global Convergence of Sharpness Minimization
• Title（参考訳）: シャープネス最小化のグローバル収束による単純性バイアス
• Authors: Khashayar Gatmiry, Zhiyuan Li, Sashank J. Reddi, Stefanie Jegelka,
• Abstract要約: ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。 また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
• 参考スコア（独自算出の注目度）: 43.658859631741024
• License:
• Abstract: The remarkable generalization ability of neural networks is usually attributed to the implicit bias of SGD, which often yields models with lower complexity using simpler (e.g. linear) and low-rank features. Recent works have provided empirical and theoretical evidence for the bias of particular variants of SGD (such as label noise SGD) toward flatter regions of the loss landscape. Despite the folklore intuition that flat solutions are 'simple', the connection with the simplicity of the final trained model (e.g. low-rank) is not well understood. In this work, we take a step toward bridging this gap by studying the simplicity structure that arises from minimizers of the sharpness for a class of two-layer neural networks. We show that, for any high dimensional training data and certain activations, with small enough step size, label noise SGD always converges to a network that replicates a single linear feature across all neurons; thereby, implying a simple rank one feature matrix. To obtain this result, our main technical contribution is to show that label noise SGD always minimizes the sharpness on the manifold of models with zero loss for two-layer networks. Along the way, we discover a novel property -- a local geodesic convexity -- of the trace of Hessian of the loss at approximate stationary points on the manifold of zero loss, which links sharpness to the geometry of the manifold. This tool may be of independent interest.
• Abstract（参考訳）: ニューラルネットワークの顕著な一般化能力は、通常、SGDの暗黙のバイアスに起因する。 近年の研究では、SGDの特定の変種(ラベルノイズSGDなど)が損失景観の平坦な領域に偏りを示す経験的および理論的証拠を提供している。 平らな解は「単純」であるという民間の直観にもかかわらず、最終的な訓練されたモデル(例えば低ランク)の単純さとの関係はよく理解されていない。 本研究では,2層ニューラルネットワークのクラスにおけるシャープネスの最小化から生じる簡素な構造を考察することにより,このギャップを埋めるための一歩を踏み出した。 任意の高次元トレーニングデータと特定のアクティベーションに対して、十分なステップサイズを持つラベルノイズSGDは、常にすべてのニューロンに1つの線形特徴を複製するネットワークに収束し、単純な階数1の特徴行列を暗示する。 この結果を得るためには,ラベルノイズSGDが2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示すことが主な技術的貢献である。 その過程で、ゼロ損失の多様体上の近似定常点における損失のヘッセンのトレースの新たな性質(局所測地凸)を発見し、それは多様体の幾何学と鋭さを結び付ける。 このツールには独立した関心があるかもしれない。

関連論文リスト

• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Typical and atypical solutions in non-convex neural networks with discrete and continuous weights [2.7127628066830414]
  ランダムな規則や関連を学習する単純な非拘束型ネットワークモデルとして、二項および連続負マージンパーセプトロンについて検討する。 どちらのモデルも、非常に平坦で幅の広い劣支配的な最小化器を示す。 両モデルにおいて、学習装置としての一般化性能は、広い平坦な最小化器の存在により大幅に向上することを示した。
  論文  参考訳（メタデータ） (2023-04-26T23:34:40Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Learning an Invertible Output Mapping Can Mitigate Simplicity Bias in Neural Networks [66.76034024335833]
  バックボーンによって多様・複雑な特徴が学習される理由を考察し、その脆さは、主に最も単純な特徴に依存する線形分類ヘッドによるものである。 本稿では,学習した特徴がログから復元可能であることを保証するために,特徴再構成正則化器(FRR)を提案する。 我々は、最近導入された極端分布シフトを持つ半合成データセットにおいて、OOD精度が最大15%向上することを示した。
  論文  参考訳（メタデータ） (2022-10-04T04:01:15Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
  非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。 このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。 また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
  論文  参考訳（メタデータ） (2021-10-06T14:18:47Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。