Fugu-MT 論文翻訳(概要): A brief note on understanding neural networks as Gaussian processes

論文の概要: A brief note on understanding neural networks as Gaussian processes

arxiv url: http://arxiv.org/abs/2107.11892v1
Date: Sun, 25 Jul 2021 21:06:58 GMT
ステータス: 処理完了
システム内更新日: 2021-07-27 16:14:35.553166
Title: A brief note on understanding neural networks as Gaussian processes
Title（参考訳）: ガウス過程としてのニューラルネットワークの理解について
Authors: Mengwu Guo
Abstract要約: 留意すべき点は、ニューラルネットワークの出力の先行がガウス過程に従うときである。二層ニューラルネットワークの場合、誘導されたガウス過程は再生されたカーネルヒルベルト空間の解釈を提供する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As a generalization of the work in [Lee et al., 2017], this note briefly discusses when the prior of a neural network output follows a Gaussian process, and how a neural-network-induced Gaussian process is formulated. The posterior mean functions of such a Gaussian process regression lie in the reproducing kernel Hilbert space defined by the neural-network-induced kernel. In the case of two-layer neural networks, the induced Gaussian processes provide an interpretation of the reproducing kernel Hilbert spaces whose union forms a Barron space.
Abstract（参考訳）: The generalization of the work in [Lee et al., 2017], this note discuss the prior of a neural network output after a Gaussian process, and how the neural-network-induced Gaussian process are formulated。このようなガウス過程回帰の後方平均関数は、ニューラルネットワークによって定義される再生核ヒルベルト空間にある。二層ニューラルネットワークの場合、誘導されたガウス過程は、結合がバロン空間を形成する再生核ヒルベルト空間の解釈を提供する。

関連論文リスト

Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文参考訳（メタデータ） (2024-05-24T06:30:36Z)
Sparsity-depth Tradeoff in Infinitely Wide Deep Neural Networks [22.083873334272027]
我々は,スペーサーネットワークが,様々なデータセットの浅い深度で非スパースネットワークより優れていることを観察した。カーネルリッジ回帰の一般化誤差に関する既存の理論を拡張した。
論文参考訳（メタデータ） (2023-05-17T20:09:35Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文参考訳（メタデータ） (2022-09-17T17:02:35Z)
Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-06-13T06:11:21Z)
Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
論文参考訳（メタデータ） (2021-02-20T10:14:37Z)
Double-descent curves in neural networks: a new perspective using Gaussian processes [9.153116600213641]
ニューラルネットワークの二重輝線曲線は、一般化誤差が最初にパラメータの増加とともに下降し、最適数のパラメータに達した後に成長する現象を記述している。本稿では,ニューラルネットワークガウス過程カーネルのスペクトルの幅依存性として,経験的特徴共分散行列のスペクトル分布を特徴付けるために,ランダム行列理論の手法を用いる。
論文参考訳（メタデータ） (2021-02-14T20:31:49Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。