論文の概要: How You Start Matters for Generalization
- arxiv url: http://arxiv.org/abs/2206.08558v1
- Date: Fri, 17 Jun 2022 05:30:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-20 14:34:29.432298
- Title: How You Start Matters for Generalization
- Title(参考訳): 一般化のためにどう始めるか
- Authors: Sameera Ramasinghe, Lachlan MacDonald, Moshiur Farazi, Hemanth
Sartachandran, Simon Lucey
- Abstract要約: ニューラルネットワークの一般化は、その初期化に強く結びついていることが示される。
議論を呼んでいるフラットミニマ予想に反論する。
- 参考スコア(独自算出の注目度): 26.74340246715699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Characterizing the remarkable generalization properties of over-parameterized
neural networks remains an open problem. In this paper, we promote a shift of
focus towards initialization rather than neural architecture or (stochastic)
gradient descent to explain this implicit regularization. Through a Fourier
lens, we derive a general result for the spectral bias of neural networks and
show that the generalization of neural networks is heavily tied to their
initialization. Further, we empirically solidify the developed theoretical
insights using practical, deep networks. Finally, we make a case against the
controversial flat-minima conjecture and show that Fourier analysis grants a
more reliable framework for understanding the generalization of neural
networks.
- Abstract(参考訳): 過パラメータニューラルネットワークの顕著な一般化特性を特徴付けることは、まだ未解決の問題である。
本稿では,この暗黙の正規化を説明するために,ニューラルネットワークや(確率的な)勾配降下よりも初期化に焦点を移すことを促進する。
フーリエレンズを用いて、ニューラルネットワークのスペクトルバイアスに関する一般的な結果を導出し、ニューラルネットワークの一般化がその初期化に強く結びついていることを示す。
さらに,実用的深層ネットワークを用いた理論的洞察を実証的に確立した。
最後に、議論を呼んでいるフラットミニマ予想に反論し、フーリエ解析がニューラルネットワークの一般化を理解するためのより信頼性の高い枠組みを与えることを示した。
関連論文リスト
- A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳(メタデータ) (2023-05-16T20:06:01Z) - On the generalization of learning algorithms that do not converge [54.122745736433856]
ディープラーニングの一般化解析は、訓練が一定の点に収束すると仮定するのが一般的である。
最近の結果は、実際には勾配降下に最適化されたディープニューラルネットワークの重みは、しばしば無限に振動することを示している。
論文 参考訳(メタデータ) (2022-08-16T21:22:34Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳(メタデータ) (2022-06-13T12:03:32Z) - Implicit Regularization in Hierarchical Tensor Factorization and Deep
Convolutional Neural Networks [18.377136391055327]
本稿では,階層的テンソル分解における暗黙の正規化を理論的に解析する。
これは、関連する畳み込みネットワークの局所性に対する暗黙の正規化に変換される。
我々の研究は、暗黙の正規化の理論解析を通じてニューラルネットワークを強化する可能性を強調している。
論文 参考訳(メタデータ) (2022-01-27T18:48:30Z) - Learning Theory Can (Sometimes) Explain Generalisation in Graph Neural
Networks [13.518582483147325]
本稿では,トランスダクティブ推論の文脈におけるニューラルネットワークの性能を厳密に分析する。
本稿では, ブロックモデルに対するグラフ畳み込みネットワークの一般化特性について, トランスダクティブなRademacher複雑性が説明できることを示す。
論文 参考訳(メタデータ) (2021-12-07T20:06:23Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳(メタデータ) (2021-03-03T06:17:03Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳(メタデータ) (2020-07-11T18:19:50Z) - Expressivity of Deep Neural Networks [2.7909470193274593]
本稿では,ニューラルネットワークの様々な近似結果について概説する。
既存の結果は、一般的なフィードフォワードアーキテクチャのためのものだが、畳み込み、残留、反復するニューラルネットワークの近似結果も記述する。
論文 参考訳(メタデータ) (2020-07-09T13:08:01Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳(メタデータ) (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。