論文の概要: Mixed neural network Gaussian processes

• arxiv url: http://arxiv.org/abs/2112.00365v1
• Date: Wed, 1 Dec 2021 09:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-02 13:34:14.896211
• Title: Mixed neural network Gaussian processes
• Title（参考訳）: 混合ニューラルネットワークガウス過程
• Authors: Alexey Lindo, Theodore Papamarkou, Serik Sagitov, Laura Stewart
• Abstract要約: 混合合成カーネルは確率生成関数(PGF)の合成によって生成される ニューラルネットワークの$theta$アクティベーション関数と$theta$コンポジションカーネルが導入されている。 オープンな研究の問題は、$theta$コンポジションカーネルを持つGPが$theta$アクティベーション関数を持つ無限幅の極限であるかどうかである。
• 参考スコア（独自算出の注目度）: 1.6822770693792826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper makes two contributions. Firstly, it introduces mixed compositional kernels and mixed neural network Gaussian processes (NGGPs). Mixed compositional kernels are generated by composition of probability generating functions (PGFs). A mixed NNGP is a Gaussian process (GP) with a mixed compositional kernel, arising in the infinite-width limit of multilayer perceptrons (MLPs) that have a different activation function for each layer. Secondly, $\theta$ activation functions for neural networks and $\theta$ compositional kernels are introduced by building upon the theory of branching processes, and more specifically upon $\theta$ PGFs. While $\theta$ compositional kernels are recursive, they are expressed in closed form. It is shown that $\theta$ compositional kernels have non-degenerate asymptotic properties under certain conditions. Thus, GPs with $\theta$ compositional kernels do not require non-explicit recursive kernel evaluations and have controllable infinite-depth asymptotic properties. An open research question is whether GPs with $\theta$ compositional kernels are limits of infinitely-wide MLPs with $\theta$ activation functions.
• Abstract（参考訳）: この論文には2つの貢献がある。 まず、混合合成カーネルと混合ニューラルネットワークガウス過程(NGGP)を導入する。 混合合成核は確率生成関数(pgfs)の合成によって生成される。 混合NNGPは混合合成カーネルを持つガウス過程(GP)であり、各層に対して異なる活性化関数を持つ多層パーセプトロン(MLP)の無限幅極限に存在する。 第二に、ニューラルネットワークの$\theta$アクティベーション関数と$\theta$合成カーネルは分岐過程の理論に基づいて、より具体的に$\theta$ pgfsに基づいて導入された。 $\theta$ 構成核は再帰的であるが、それらは閉形式で表される。 合成核の$\theta$は特定の条件下での非退化漸近性を持つ。 したがって、$\theta$構成カーネルを持つGPは、非明示的再帰的カーネル評価を必要とせず、制御可能な無限深度漸近特性を持つ。 オープンな研究の問題は、$\theta$コンポジションカーネルを持つGPが$\theta$アクティベーション関数を持つ無限幅 MLP の極限であるかどうかである。

関連論文リスト

• An appointment with Reproducing Kernel Hilbert Space generated by Generalized Gaussian RBF as $L^2-$measure [3.9931474959554496]
  Generalized Gaussian Radial Basis Function (RBF) Kernelsは、人工知能と機械学習ルーチンにおいて最も多く採用されているカーネルである。 この原稿は、前述の機械学習ルーチンに対する一般化ガウスRBFのカーネルセンスへの応用と、上記の関数との比較を実証している。
  論文  参考訳（メタデータ） (2023-12-17T12:02:10Z)
• An Exact Kernel Equivalence for Finite Classification Models [1.4777718769290527]
  我々は、その正確な表現をよく知られたニューラルタンジェントカーネル(NTK)と比較し、NTKに対する近似誤差について議論する。 この正確なカーネルを使って、ニューラルネットワークによる予測について、理論的貢献が有益な洞察を提供することを示す。
  論文  参考訳（メタデータ） (2023-08-01T20:22:53Z)
• Random Gegenbauer Features for Scalable Kernel Methods [11.370390549286757]
  我々は、GZK(Generalized Zonal Kernels)と呼ばれる新しい、リッチなカーネル関数のクラスを近似する効率的なランダムな特徴を提案する。 提案したGZKファミリーは、ゲゲンバウアー級数展開における因子を導入することにより、粒子核を一般化する。 提案手法は最近のカーネル近似法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-07T19:30:36Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Deformed Explicitly Correlated Gaussians [58.720142291102135]
  変形相関ガウス基底関数を導入し、それらの行列要素を算出する。 これらの基底関数は非球面ポテンシャルの問題を解くのに使うことができる。
  論文  参考訳（メタデータ） (2021-08-10T18:23:06Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Taming Nonconvexity in Kernel Feature Selection---Favorable Properties of the Laplace Kernel [77.73399781313893]
  カーネルベースの特徴選択の客観的機能を確立することが課題である。 非言語最適化に利用可能な勾配に基づくアルゴリズムは、局所ミニマへの収束を保証できるだけである。
  論文  参考訳（メタデータ） (2021-06-17T11:05:48Z)
• Flow-based Kernel Prior with Application to Blind Super-Resolution [143.21527713002354]
  カーネル推定は一般にブラインド画像超解像(SR)の鍵となる問題の一つである 本稿では,カーネルモデリングのための正規化フローベースカーネルプリレント(fkp)を提案する。 合成および実世界の画像の実験により、提案したFKPがカーネル推定精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2021-03-29T22:37:06Z)
• A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial Basis Functions [13.503048325896174]
  トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。 スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
  論文  参考訳（メタデータ） (2020-06-23T21:04:48Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks [17.188280334580195]
  トレーニングサンプル数の関数として,カーネル回帰の一般化性能に関する解析式を導出する。 我々の表現は、トレーニングとニューラルカーネル・タンジェント(NTK)によるカーネル回帰の等価性により、広いニューラルネットワークに適用される。 我々は、合成データとMNISTデータセットのシミュレーションを用いて、我々の理論を検証する。
  論文  参考訳（メタデータ） (2020-02-07T00:03:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。