論文の概要: Transition to Linearity of Wide Neural Networks is an Emerging Property
of Assembling Weak Models
- arxiv url: http://arxiv.org/abs/2203.05104v1
- Date: Thu, 10 Mar 2022 01:27:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 15:42:59.406784
- Title: Transition to Linearity of Wide Neural Networks is an Emerging Property
of Assembling Weak Models
- Title（参考訳）: ワイドニューラルネットワークの線形性への遷移は、組立弱モデルの創発的特性である
- Authors: Chaoyue Liu, Libin Zhu, Mikhail Belkin
- Abstract要約: 線形出力層を持つ広帯域ニューラルネットワークは、ニアリニアであり、ニアコンスタント・ニューラル・タンジェント・カーネル(NTK)を有することが示されている。
広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
- 参考スコア（独自算出の注目度）: 20.44438519046223
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Wide neural networks with linear output layer have been shown to be
near-linear, and to have near-constant neural tangent kernel (NTK), in a region
containing the optimization path of gradient descent. These findings seem
counter-intuitive since in general neural networks are highly complex models.
Why does a linear structure emerge when the networks become wide? In this work,
we provide a new perspective on this "transition to linearity" by considering a
neural network as an assembly model recursively built from a set of sub-models
corresponding to individual neurons. In this view, we show that the linearity
of wide neural networks is, in fact, an emerging property of assembling a large
number of diverse "weak" sub-models, none of which dominate the assembly.
- Abstract（参考訳）: 線形出力層を持つ広いニューラルネットワークは、ほぼ直線であり、勾配降下の最適化経路を含む領域において、ニアコンスタントニューラルネットワーク(NTK)を有することが示されている。
一般のニューラルネットワークは非常に複雑なモデルであるため、これらの発見は直観に反するように思える。
ネットワークが広くなるとなぜ線形構造が現れるのか?
本研究では、ニューラルネットワークを個々のニューロンに対応するサブモデルの集合から再帰的に構築したアセンブリモデルとして考えることにより、この「線形性への遷移」に対する新たな視点を提供する。
この観点から、広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
関連論文リスト
- Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳（メタデータ） (2024-05-24T06:30:36Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。
一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文 参考訳（メタデータ） (2023-04-29T11:46:53Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Quadratic models for understanding catapult dynamics of neural networks [15.381097076708535]
近年提案されたニューラル二次モデルでは,そのようなモデルを大きな学習率で訓練する際に生じる「カタパルト相」が示されることが示されている。
さらに,2次モデルがニューラルネットワーク解析の有効なツールであることを示す。
論文 参考訳（メタデータ） (2022-05-24T05:03:06Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - On the linearity of large non-linear models: when and why the tangent
kernel is constant [20.44438519046223]
我々は、その幅が無限に近づくにつれて、あるニューラルネットワークの線形性への移行という驚くべき現象に光を当てた。
モデルの線形性への遷移と等価に、ネットワークのヘッセン行列のノルムのスケーリング特性から、(神経)接核(NTK)の定数が生じることを示す。
論文 参考訳（メタデータ） (2020-10-02T16:44:45Z) - Measuring Model Complexity of Neural Networks with Curve Activation
Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。
ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。
我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文 参考訳（メタデータ） (2020-06-16T07:38:06Z) - Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。
また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
論文 参考訳（メタデータ） (2020-02-20T15:43:02Z) - Learning Parities with Neural Networks [45.6877715768796]
本質的に非線形であるモデルのリーン性を示すための一歩を踏み出します。
特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
論文 参考訳（メタデータ） (2020-02-18T06:44:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。