論文の概要: Random ReLU Neural Networks as Non-Gaussian Processes

• arxiv url: http://arxiv.org/abs/2405.10229v1
• Date: Thu, 16 May 2024 16:28:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 13:43:00.185891
• Title: Random ReLU Neural Networks as Non-Gaussian Processes
• Title（参考訳）: 非ガウス過程としてのランダムReLUニューラルネットワーク
• Authors: Rahul Parhi, Pakshal Bohra, Ayoub El Biari, Mehrsa Pourya, Michael Unser,
• Abstract要約: 線形単位活性化関数が整列されたランダムニューラルネットワークは、ガウス過程を適切に定義していないことを示す。 副産物として、これらのネットワークは、衝動ホワイトノイズによって駆動される微分方程式の解であることを示す。
• 参考スコア（独自算出の注目度）: 20.607307985674428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider a large class of shallow neural networks with randomly initialized parameters and rectified linear unit activation functions. We prove that these random neural networks are well-defined non-Gaussian processes. As a by-product, we demonstrate that these networks are solutions to stochastic differential equations driven by impulsive white noise (combinations of random Dirac measures). These processes are parameterized by the law of the weights and biases as well as the density of activation thresholds in each bounded region of the input domain. We prove that these processes are isotropic and wide-sense self-similar with Hurst exponent $3/2$. We also derive a remarkably simple closed-form expression for their autocovariance function. Our results are fundamentally different from prior work in that we consider a non-asymptotic viewpoint: The number of neurons in each bounded region of the input domain (i.e., the width) is itself a random variable with a Poisson law with mean proportional to the density parameter. Finally, we show that, under suitable hypotheses, as the expected width tends to infinity, these processes can converge in law not only to Gaussian processes, but also to non-Gaussian processes depending on the law of the weights. Our asymptotic results provide a new take on several classical results (wide networks converge to Gaussian processes) as well as some new ones (wide networks can converge to non-Gaussian processes).
• Abstract（参考訳）: 我々は、ランダムに初期化パラメータと修正線形単位活性化関数を持つ浅層ニューラルネットワークの大規模なクラスを考察する。 これらのランダムニューラルネットワークがガウス的でないプロセスであることを示す。 副産物として、これらのネットワークは、衝動的ホワイトノイズ(ランダムディラック測度の組み合わせ)によって駆動される確率微分方程式の解であることを示す。 これらの過程は、重みとバイアスの法則と、入力領域の各有界領域におけるアクティベーションしきい値の密度によってパラメータ化される。 これらの過程が等方的で広義の自己相似であり、ハースト指数が3/2$であることを示す。 また, 自己共分散関数に対して, 極めて単純な閉形式式を導出する。 入力領域の各有界領域(すなわち、幅)のニューロンの数は、密度パラメータに比例する平均ポアソン則を持つランダム変数である。 最後に、適切な仮説の下では、期待される幅が無限大になる傾向があるので、これらの過程はガウス過程だけでなく、重みの法則に依存する非ガウス過程にも収束できることを示す。 我々の漸近的な結果は、いくつかの古典的な結果(ワイドネットワークはガウス過程に収束する)といくつかの新しい結果(ワイドネットワークは非ガウス過程に収束する)に新しい見解を与える。

関連論文リスト

• Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
  有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。 ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。 我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
  論文  参考訳（メタデータ） (2024-07-26T12:45:53Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Score-based Diffusion Models in Function Space [140.792362459734]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 本稿では,関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)という,数学的に厳密なフレームワークを提案する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Deep neural networks with dependent weights: Gaussian Process mixture limit, heavy tails, sparsity and compressibility [18.531464406721412]
  本稿では,重みに依存するディープフィードフォワードニューラルネットワークの無限幅限界について検討する。 ネットワークの各隠れノードは、そのノードの出力重みの分散を制御する非負のランダム変数が割り当てられる。
  論文  参考訳（メタデータ） (2022-05-17T09:14:32Z)
• Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
  我々はガウス過程の適用性を高める技術を開発した。 この観点から構築した効率的な近似を幅広く導入する。 非ユークリッド空間上のガウス過程モデルの集合を開発する。
  論文  参考訳（メタデータ） (2022-02-22T01:42:57Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• Non-asymptotic approximations of neural networks by Gaussian processes [7.56714041729893]
  ランダムな重みを持つ場合、ガウス過程によって広いニューラルネットワークが近似される程度を研究する。 ネットワークの幅が無限大になるにつれて、その法則はガウス過程に収束する。
  論文  参考訳（メタデータ） (2021-02-17T10:19:26Z)
• Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
  本稿では、無限に広いネットワークとガウス過程の等価性を示す。 我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
  論文  参考訳（メタデータ） (2021-01-07T02:29:15Z)
• Pathwise Conditioning of Gaussian Processes [72.61885354624604]
  ガウス過程後部をシミュレーションするための従来のアプローチでは、有限個の入力位置のプロセス値の限界分布からサンプルを抽出する。 この分布中心の特徴づけは、所望のランダムベクトルのサイズで3次スケールする生成戦略をもたらす。 条件付けのこのパスワイズ解釈が、ガウス過程の後部を効率的にサンプリングするのに役立てる近似の一般族をいかに生み出すかを示す。
  論文  参考訳（メタデータ） (2020-11-08T17:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。