論文の概要: On Connecting Deep Trigonometric Networks with Deep Gaussian Processes:
Covariance, Expressivity, and Neural Tangent Kernel
- arxiv url: http://arxiv.org/abs/2203.07411v1
- Date: Mon, 14 Mar 2022 18:14:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-18 11:06:49.347889
- Title: On Connecting Deep Trigonometric Networks with Deep Gaussian Processes:
Covariance, Expressivity, and Neural Tangent Kernel
- Title（参考訳）: ディープ・トリゴノメトリック・ネットワークとディープ・ガウス過程の連結について:共分散、表現性、神経接核
- Authors: Chi-Ken Lu and Patrick Shafto
- Abstract要約: 重み空間ビューは以前関数空間で得られたのと同じ有効共分散関数が得られることを示す。
トリグネットワークはフレキシブルで表現力があり、重み付けや特徴層においてパラメータに対して異なる事前分布を自由に適用できる。
- 参考スコア（独自算出の注目度）: 6.599344783327053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep Gaussian Process as a Bayesian learning model is promising because it is
expressive and capable of uncertainty estimation. With Bochner's theorem, we
can view the deep Gaussian process with squared exponential kernels as a deep
trigonometric network consisting of the random feature layers, sine and cosine
activation units, and random weight layers. Focusing on this particular class
of models allows us to obtain analytical results. We shall show that the weight
space view yields the same effective covariance functions which were obtained
previously in function space. The heavy statistical tails can be studied with
multivariate characteristic function. In addition, the trig networks are
flexible and expressive as one can freely adopt different prior distributions
over the parameters in weight and feature layers. Lastly, the deep
trigonometric network representation of deep Gaussian process allows the
derivation of its neural tangent kernel, which can reveal the mean of
predictive distribution from the intractable inference.
- Abstract（参考訳）: ベイズ学習モデルとしての深いガウス過程は、表現力があり不確実性の推定が可能なため、有望である。
ボヒナーの定理により、二乗指数核を持つ深いガウス過程を、ランダムな特徴層、サインとコサインの活性化ユニット、ランダムな重み層からなる深い三角ネットワークとして見ることができる。
この特定のモデルのクラスに焦点をあてることで、分析結果を得ることができる。
重み空間ビューは以前関数空間で得られたのと同じ有効共分散関数が得られることを示す。
重く統計的な尾は多変量特性関数で研究できる。
さらに、トリグネットワークはフレキシブルで表現力があり、重み付けや特徴層におけるパラメータに対して異なる事前分布を自由に適用できる。
最後に、ディープ・ガウス過程の深部三角ネットワーク表現により、ニューラルネットワークカーネルの導出が可能となり、難解な推論から予測分布の平均を明らかにすることができる。
関連論文リスト
- von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
円値ランダム関数上の表現的および解釈可能な分布の族を探索する。
結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。
後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
論文 参考訳（メタデータ） (2024-06-19T01:57:21Z) - Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。
我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
論文 参考訳（メタデータ） (2024-06-05T13:37:42Z) - Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。
いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文 参考訳（メタデータ） (2024-02-21T18:35:27Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Bayesian inference with finitely wide neural networks [0.4568777157687961]
確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。
ベイズ回帰課題における非ガウス的後部分布を導出できる。
論文 参考訳（メタデータ） (2023-03-06T03:25:30Z) - NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。
最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。
教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
論文 参考訳（メタデータ） (2022-04-30T05:31:07Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳（メタデータ） (2021-12-04T18:07:47Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-05-15T14:10:35Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Infinitely Wide Tensor Networks as Gaussian Process [1.7894377200944511]
本稿では、無限に広いネットワークとガウス過程の等価性を示す。
我々は無限極限テンソルネットワークに対応するガウス過程を実装し、これらのモデルのサンプルパスをプロットする。
論文 参考訳（メタデータ） (2021-01-07T02:29:15Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。