論文の概要: Neural Hilbert Ladders: Multi-Layer Neural Networks in Function Space
- arxiv url: http://arxiv.org/abs/2307.01177v1
- Date: Mon, 3 Jul 2023 17:40:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-05 12:10:58.033963
- Title: Neural Hilbert Ladders: Multi-Layer Neural Networks in Function Space
- Title（参考訳）: Neural Hilbert Ladders:関数空間における多層ニューラルネットワーク
- Authors: Zhengdao Chen
- Abstract要約: ニューラルネットワーク(NN)によって探索される関数空間の特徴付けは、ディープラーニング理論の重要な側面である。
我々は、任意の幅を持つ多層NNを、再生カーネルヒルベルト空間(RKHS)の階層として見る。
これにより、浅いNNの事前結果を一般化する関数空間と複雑性尺度を定義することができる。
- 参考スコア（独自算出の注目度）: 11.498089180181365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The characterization of the functions spaces explored by neural networks
(NNs) is an important aspect of deep learning theory. In this work, we view a
multi-layer NN with arbitrary width as defining a particular hierarchy of
reproducing kernel Hilbert spaces (RKHSs), named a Neural Hilbert Ladder (NHL).
This allows us to define a function space and a complexity measure that
generalize prior results for shallow NNs, and we then examine their theoretical
properties and implications in several aspects. First, we prove a
correspondence between functions expressed by L-layer NNs and those belonging
to L-level NHLs. Second, we prove generalization guarantees for learning an NHL
with the complexity measure controlled. Third, corresponding to the training of
multi-layer NNs in the infinite-width mean-field limit, we derive an evolution
of the NHL characterized as the dynamics of multiple random fields. Fourth, we
show examples of depth separation in NHLs under ReLU and quadratic activation
functions. Finally, we complement the theory with numerical results to
illustrate the learning of RKHS in NN training.
- Abstract（参考訳）: ニューラルネットワーク(NN)によって探索される関数空間の特性は、ディープラーニング理論の重要な側面である。
本研究では、任意の幅を持つ多層NNを、NHL(Neural Hilbert Ladder)と呼ばれるカーネルヒルベルト空間(RKHS)の特定の階層として定義する。
これにより、浅いNNの事前結果を一般化する関数空間と複雑性尺度を定義でき、その理論的性質といくつかの側面でその意味を検証できる。
まず, l-layer nns と l-level nhls に属する関数の対応を証明した。
第2に,NHLを複雑度制御で学習するための一般化保証を証明した。
第3に、無限幅平均場限界における多層NNの訓練に対応して、複数のランダムフィールドのダイナミクスとして特徴づけられるNHLの進化を導出する。
第4に、ReLUおよび二次活性化関数の下でのNHLの深度分離の例を示す。
最後に,この理論を数値的な結果で補完し,nn学習におけるrkhsの学習を説明する。
関連論文リスト
- The Proof of Kolmogorov-Arnold May Illuminate Neural Network Learning [0.0]
コルモゴロフとアーノルドは現代のニューラルネットワーク理論の基礎を築いた。
微量の濃度は、ヤコビアンのより高い外界の力に比例する。
本稿では,今日のディープNNにおける高次概念の出現の舞台となるような空間性について,その概念的議論を行う。
論文 参考訳（メタデータ） (2024-10-11T01:43:14Z) - Multi-layer random features and the approximation power of neural networks [4.178980693837599]
再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。
NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
論文 参考訳（メタデータ） (2024-04-26T14:57:56Z) - Half-Space Feature Learning in Neural Networks [2.3249139042158853]
現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。
どちらの解釈も、新しい観点からは正しいとは考えにくい。
私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
論文 参考訳（メタデータ） (2024-04-05T12:03:19Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Exploring the Common Principal Subspace of Deep Features in Neural
Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。
具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。
異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文 参考訳（メタデータ） (2021-10-06T15:48:32Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳（メタデータ） (2021-08-19T03:56:49Z) - Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。
We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。
対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
論文 参考訳（メタデータ） (2021-05-31T09:49:14Z) - Banach Space Representer Theorems for Neural Networks and Ridge Splines [17.12783792226575]
データに適合するニューラルネットワークで学習した関数の性質を理解するための変分フレームワークを開発する。
有限幅単層ニューラルネットワークが逆問題に対する解であることを示す代表者定理を導出する。
論文 参考訳（メタデータ） (2020-06-10T02:57:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。