Fugu-MT 論文翻訳(概要): Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias

論文の概要: Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias

arxiv url: http://arxiv.org/abs/2206.05317v1
Date: Fri, 10 Jun 2022 18:33:15 GMT
ステータス: 処理完了
システム内更新日: 2022-06-19 14:11:08.702305
Title: Intrinsic dimensionality and generalization properties of the $\mathcal{R}$-norm inductive bias
Title（参考訳）: $\mathcal{R}$-norm誘導バイアスの固有次元性と一般化特性
Authors: Clayton Sanford, Navid Ardeshir, Daniel Hsu
Abstract要約: $mathcalR$-normは、2層ニューラルネットワークの誘導バイアスの基礎である。これらの補間子は,データに適合するリッジ関数があっても,本質的に多変量関数であることがわかった。
参考スコア（独自算出の注目度）: 4.37441734515066
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We study the structural and statistical properties of $\mathcal{R}$-norm minimizing interpolants of datasets labeled by specific target functions. The $\mathcal{R}$-norm is the basis of an inductive bias for two-layer neural networks, recently introduced to capture the functional effect of controlling the size of network weights, independently of the network width. We find that these interpolants are intrinsically multivariate functions, even when there are ridge functions that fit the data, and also that the $\mathcal{R}$-norm inductive bias is not sufficient for achieving statistically optimal generalization for certain learning problems. Altogether, these results shed new light on an inductive bias that is connected to practical neural network training.
Abstract（参考訳）: 特定の対象関数でラベル付けされたデータセットの補間を最小化する$\mathcal{r}$-normの構造および統計特性について検討する。この$\mathcal{r}$-norm は、2層ニューラルネットワークの帰納バイアスの基礎であり、ネットワーク幅とは無関係に、ネットワーク重みのサイズを制御する機能的効果を捉えるために最近導入された。これらの補間関数は,データに適合するリッジ関数が存在する場合でも,本質的に多変量関数であると同時に,特定の学習問題に対して統計的に最適な一般化を達成するには,$\mathcal{r}$-normインダクティブバイアスが不十分であることがわかった。さらに、これらの結果は、実用的なニューラルネットワークトレーニングに結びついている誘導バイアスに新たな光を当てた。

関連論文リスト

Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。その後、トレーニング中にのみ高次の統計を利用する。本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文参考訳（メタデータ） (2022-11-21T15:27:22Z)
From Kernel Methods to Neural Networks: A Unifying Variational Formulation [25.6264886382888]
演算子と一般ラドン領域ノルムに依存する統一正規化関数を提案する。我々のフレームワークは、多種多様な正規化演算子、または同等に、幅広い浅層ニューラルネットワークに対して、普遍的な近似を保証する。
論文参考訳（メタデータ） (2022-06-29T13:13:53Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Correlation Functions in Random Fully Connected Neural Networks at Finite Width [17.51364577113718]
この記事では、ガウスのランダムな重みとバイアスと$L$の隠蔽層を持つ完全に接続されたニューラルネットワークについて考察する。有界非線形性に対しては、ネットワーク出力とその導関数の共役相関関数に対して1/n$の急激な再帰推定を与える。いずれの場合も、深さと幅の比$L/n$は、個々のニューロンのゆらぎのスケールとニューロン間相関の大きさの両方を制御し、有効なネットワーク深さの役割を担っている。
論文参考訳（メタデータ） (2022-04-03T11:57:18Z)
The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文参考訳（メタデータ） (2021-08-25T22:01:01Z)
The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文参考訳（メタデータ） (2021-07-31T10:25:26Z)
Fundamental tradeoffs between memorization and robustness in random features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文参考訳（メタデータ） (2021-06-04T17:52:50Z)
The Efficacy of $L_1$ Regularization in Two-Layer Neural Networks [36.753907384994704]
ニューラルネットワークにおける重要な問題は、最も適切な数の隠れたニューロンを選択し、厳密な統計的リスク境界を得ることである。我々は、$L_1$正規化が一般化誤差を制御し、入力次元を分散させることができることを示す。過剰な数のニューロンは、必ずしも適切な正規化の下で一般化誤差を増大させるとは限らない。
論文参考訳（メタデータ） (2020-10-02T15:23:22Z)
The Interpolation Phase Transition in Neural Networks: Memorization and Generalization under Lazy Training [10.72393527290646]
ニューラル・タンジェント(NT)体制における2層ニューラルネットワークの文脈における現象について検討した。 Ndgg n$ とすると、テストエラーは無限幅のカーネルに対するカーネルリッジ回帰の1つによってよく近似される。後者は誤差リッジ回帰によりよく近似され、活性化関数の高次成分に関連する自己誘導項により正規化パラメータが増加する。
論文参考訳（メタデータ） (2020-07-25T01:51:13Z)
Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。