論文の概要: Neural signature kernels as infinite-width-depth-limits of controlled ResNets

• arxiv url: http://arxiv.org/abs/2303.17671v2
• Date: Sun, 4 Jun 2023 12:45:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 02:06:36.392257
• Title: Neural signature kernels as infinite-width-depth-limits of controlled ResNets
• Title（参考訳）: 制御されたResNetの無限幅深度限界としてのニューラルシグネチャカーネル
• Authors: Nicola Muca Cirone, Maud Lemercier, Cristopher Salvi
• Abstract要約: ニューラル制御微分方程式のオイラー離散化として定義されるランダム制御ResNet(ニューラルCDE)を考える。 無限幅幅の極限と適切なスケーリングの下では、これらのアーキテクチャは連続経路のある空間にインデックス付けされたガウス過程に弱収束することを示す。 有限幅制御されたResNetは,無限深度系において,ランダムなベクトル場を持つニューラルCDEに分布することを示す。
• 参考スコア（独自算出の注目度）: 5.306881553301636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the paradigm of reservoir computing, we consider randomly initialized controlled ResNets defined as Euler-discretizations of neural controlled differential equations (Neural CDEs), a unified architecture which enconpasses both RNNs and ResNets. We show that in the infinite-width-depth limit and under proper scaling, these architectures converge weakly to Gaussian processes indexed on some spaces of continuous paths and with kernels satisfying certain partial differential equations (PDEs) varying according to the choice of activation function, extending the results of Hayou (2022); Hayou & Yang (2023) to the controlled and homogeneous case. In the special, homogeneous, case where the activation is the identity, we show that the equation reduces to a linear PDE and the limiting kernel agrees with the signature kernel of Salvi et al. (2021a). We name this new family of limiting kernels neural signature kernels. Finally, we show that in the infinite-depth regime, finite-width controlled ResNets converge in distribution to Neural CDEs with random vector fields which, depending on whether the weights are shared across layers, are either time-independent and Gaussian or behave like a matrix-valued Brownian motion.
• Abstract（参考訳）: rnnとresnetを包含する統一アーキテクチャであるneural controlled differential equation(neural cdes)のeuler-discretizationとして定義されるランダム初期化制御resnetについて考察する。 無限幅幅の極限と適切なスケーリングの下では、これらのアーキテクチャは連続経路のある空間にインデックス付けされたガウス過程に弱収束し、活性化関数の選択に応じて異なる偏微分方程式 (PDE) を満たすカーネルと収束し、ヘイユー (2022), ヘイユー・アンド・ヤン (2023) の結果を制御および均一なケースに拡張する。 アクティベーションが恒等性である特別な場合において、方程式が線形PDEに還元され、制限カーネルがSalvi et al. (2021a) のシグネチャカーネルと一致することを示す。 我々はこの制限カーネルの新たなファミリーをニューラルシグネチャカーネルと名付けた。 最後に,有限深層構造において,有限幅制御レネットは,重みが層間で共有されているか,時間に依存しないかガウス的か,あるいは行列値のブラウン運動のように振る舞うランダムベクトル場を持つ神経cdに分布的に収束することを示した。

関連論文リスト

• Proportional infinite-width infinite-depth limit for deep linear neural networks [0.16385815610837165]
  大規模ネットワークのコンテキストにおけるランダムパラメータを持つ線形ニューラルネットワークの分布特性について検討し,各層あたりのニューロン数に比例して層数が分散することを示した。 出力間の相関を保った非ガウス分布を導出し, 深さと幅の両方が分岐するが, 一定比を維持するような比例極限を探索する。
  論文  参考訳（メタデータ） (2024-11-22T11:25:52Z)
• Deep Kernel Posterior Learning under Infinite Variance Prior Weights [1.5960546024967326]
  ベイジアンディープニューラルネットワークは、条件付きガウス表現を持つ各層に$alpha$stableのマージンを持つプロセスに収束することを示す。 また,浅い多層ネットワーク上の浅層ネットワーク上でのLor'ia & Bhadra (2024)の結果の有用な一般化も提供する。 競合するアプローチに対する計算的および統計的利点は、シミュレーションやベンチマークデータセットでの実証において際立っている。
  論文  参考訳（メタデータ） (2024-10-02T07:13:17Z)
• Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
  無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。 この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
  論文  参考訳（メタデータ） (2024-03-14T21:48:00Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
  指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。 我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。 これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:25:39Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。