論文の概要: Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training

• arxiv url: http://arxiv.org/abs/2311.18022v4
• Date: Sun, 06 Oct 2024 22:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:42:01.505922
• Title: Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training
• Title（参考訳）: ReLUネットワークを初期化・訓練時の指数的に多くのリニア領域に適合させる
• Authors: Max Milkert, David Hyde, Forrest Laine,
• Abstract要約: ReLUアクティベーションを持つニューラルネットワークは、断片的線形関数の合成と見なすことができる。 我々は,ネットワークに複数の線形領域を指数関数的に表示させる新たなトレーニング戦略を導入する。 このアプローチにより、無作為な関数よりも数桁精度の高い凸1次元関数の近似を学習することができる。
• 参考スコア（独自算出の注目度）: 1.7205106391379021
• License:
• Abstract: A neural network with ReLU activations may be viewed as a composition of piecewise linear functions. For such networks, the number of distinct linear regions expressed over the input domain has the potential to scale exponentially with depth, but it is not expected to do so when the initial parameters are chosen randomly. Therefore, randomly initialized models are often unnecessarily large, even when approximating simple functions. To address this issue, we introduce a novel training strategy: we first reparameterize the network weights in a manner that forces the network to exhibit a number of linear regions exponential in depth. Training first on our derived parameters provides an initial solution that can later be refined by directly updating the underlying model weights. This approach allows us to learn approximations of convex, one-dimensional functions that are several orders of magnitude more accurate than their randomly initialized counterparts. We further demonstrate how to extend our approach to multidimensional and non convex functions, with similar benefits observed.
• Abstract（参考訳）: ReLUアクティベーションを持つニューラルネットワークは、断片的線形関数の合成と見なすことができる。 このようなネットワークに対して、入力領域上で表現される異なる線形領域の数は、指数関数的に深さにスケールする可能性があるが、初期パラメータがランダムに選択された場合、それは期待できない。 したがって、単純な関数を近似しても、ランダムに初期化されるモデルは必要以上に大きい。 この問題に対処するために、我々はまずネットワークの重みを再パラメータ化し、ネットワークに複数の線形領域を指数関数的に表示させる新しいトレーニング戦略を導入する。 導出したパラメータをトレーニングすることで、基礎となるモデルの重みを直接更新することで、後から改善できる最初のソリューションを提供します。 このアプローチにより、ランダムに初期化された関数よりも数桁精度の高い凸1次元関数の近似を学習することができる。 さらに、同様の利点を観察しながら、我々のアプローチを多次元および非凸関数に拡張する方法を実証する。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
  従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。 まず,このような正弦波ニューラルネットワークの簡易版を提案する。 次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
  論文  参考訳（メタデータ） (2022-11-26T07:41:48Z)
• Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable [1.2277343096128712]
  十分な幅が与えられると、ランダムに1層ニューラルネットワークは2つの集合を2つの線形分離可能な集合に変換することができる。 本論文は, 十分な幅が与えられると, ランダムに一層ニューラルネットワークが2つの集合を2つの線形分離可能な集合に変換できることを示す。
  論文  参考訳（メタデータ） (2022-05-24T01:38:43Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit [0.0]
  大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。 2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。 この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
  論文  参考訳（メタデータ） (2021-10-29T07:53:35Z)
• Activation function design for deep networks: linearity and effective initialisation [10.108857371774977]
  先行作業で特定された初期化時の2つの問題を回避する方法を検討する。 これらの問題は, 原点付近に十分に大きな線形領域を持つ活性化関数を選択することで, どちらも回避できることを示す。
  論文  参考訳（メタデータ） (2021-05-17T11:30:46Z)
• On the Explicit Role of Initialization on the Convergence and Implicit Bias of Overparametrized Linear Networks [1.0323063834827415]
  勾配流下で訓練された単層線形ネットワークの新たな解析法を提案する。 正方形損失はその最適値に指数関数的に収束することを示す。 我々は、トレーニングされたネットワークとmin-norm解の間の距離に基づいて、新しい非漸近上界を導出する。
  論文  参考訳（メタデータ） (2021-05-13T15:13:51Z)
• On the Implicit Bias of Initialization Shape: Beyond Infinitesimal Mirror Descent [55.96478231566129]
  学習モデルを決定する上で,相対スケールが重要な役割を果たすことを示す。 勾配流の誘導バイアスを導出する手法を開発した。
  論文  参考訳（メタデータ） (2021-02-19T07:10:48Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。