論文の概要: Neural signature kernels as infinite-width-depth-limits of controlled
ResNets
- arxiv url: http://arxiv.org/abs/2303.17671v1
- Date: Thu, 30 Mar 2023 19:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 16:05:00.976121
- Title: Neural signature kernels as infinite-width-depth-limits of controlled
ResNets
- Title(参考訳): 制御されたResNetの無限幅深度限界としてのニューラルシグネチャカーネル
- Authors: Nicola Muca Cirone, Maud Lemercier, Cristopher Salvi
- Abstract要約: ニューラル制御微分方程式のオイラー離散化として定義されるランダム制御ResNet(ニューラルCDE)を考える。
無限幅の深さ制限と適切なスケーリングの下では、これらのアーキテクチャは連続経路のある空間にインデックス付けされたガウス過程に弱収束することを示す。
我々は、この制限されたカーネルのニューラルシグネチャカーネルの新しいファミリーを命名する。
- 参考スコア(独自算出の注目度): 5.306881553301636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Motivated by the paradigm of reservoir computing, we consider randomly
initialized controlled ResNets defined as Euler-discretizations of neural
controlled differential equations (Neural CDEs). We show that in the
infinite-width-then-depth limit and under proper scaling, these architectures
converge weakly to Gaussian processes indexed on some spaces of continuous
paths and with kernels satisfying certain partial differential equations (PDEs)
varying according to the choice of activation function. In the special case
where the activation is the identity, we show that the equation reduces to a
linear PDE and the limiting kernel agrees with the signature kernel of Salvi et
al. (2021). In this setting, we also show that the width-depth limits commute.
We name this new family of limiting kernels neural signature kernels. Finally,
we show that in the infinite-depth regime, finite-width controlled ResNets
converge in distribution to Neural CDEs with random vector fields which,
depending on whether the weights are shared across layers, are either
time-independent and Gaussian or behave like a matrix-valued Brownian motion.
- Abstract(参考訳): 貯水池計算のパラダイムに動機づけられ,神経制御微分方程式(神経cdes)のオイラー離散化として定義されるランダム初期化制御再ネットを考える。
無限幅の極限と適切なスケーリングの下では、これらのアーキテクチャは連続パスのある空間上にインデックス付けされたガウス過程と、活性化関数の選択に応じて変化する偏微分方程式(pdes)を満たすカーネルに弱収束する。
活性化が同一性である特別な場合、方程式は線形pdeに還元され、制限核はsalvi et al. (2021) のシグネチャ核と一致することを示す。
この設定では、幅幅制限が通勤することを示す。
我々はこの制限カーネルの新たなファミリーをニューラルシグネチャカーネルと名付けた。
最後に,有限深層構造において,有限幅制御レネットは,重みが層間で共有されているか,時間に依存しないかガウス的か,あるいは行列値のブラウン運動のように振る舞うランダムベクトル場を持つ神経cdに分布的に収束することを示した。
関連論文リスト
- Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。
出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
論文 参考訳(メタデータ) (2024-11-22T11:25:52Z) - Deep Kernel Posterior Learning under Infinite Variance Prior Weights [1.5960546024967326]
ベイジアンディープニューラルネットワークは、条件付きガウス表現を持つ各層に$alpha$stableのマージンを持つプロセスに収束することを示す。
また,浅い多層ネットワーク上の浅層ネットワーク上でのLor'ia & Bhadra (2024)の結果の有用な一般化も提供する。
競合するアプローチに対する計算的および統計的利点は、シミュレーションやベンチマークデータセットでの実証において際立っている。
論文 参考訳(メタデータ) (2024-10-02T07:13:17Z) - Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。
この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文 参考訳(メタデータ) (2024-03-14T21:48:00Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Deep neural networks with dependent weights: Gaussian Process mixture
limit, heavy tails, sparsity and compressibility [18.531464406721412]
本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。
ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
論文 参考訳(メタデータ) (2022-05-17T09:14:32Z) - Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。
この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文 参考訳(メタデータ) (2021-02-20T10:14:37Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳(メタデータ) (2020-07-31T01:57:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite
Networks [12.692279981822011]
指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。
我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。
これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
論文 参考訳(メタデータ) (2020-02-20T01:25:39Z) - On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。
その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。
しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文 参考訳(メタデータ) (2020-01-28T16:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。