Fugu-MT 論文翻訳(概要): Characterizing Deep Gaussian Processes via Nonlinear Recurrence Systems

論文の概要: Characterizing Deep Gaussian Processes via Nonlinear Recurrence Systems

arxiv url: http://arxiv.org/abs/2010.09301v3
Date: Mon, 21 Dec 2020 13:43:19 GMT
ステータス: 処理完了
システム内更新日: 2022-10-05 20:45:09.966354
Title: Characterizing Deep Gaussian Processes via Nonlinear Recurrence Systems
Title（参考訳）: 非線形再帰システムによる深いガウス過程のキャラクタリゼーション
Authors: Anh Tong, Jaesik Choi
Abstract要約: 本稿では, 対応する非線形力学系の研究により, DGPの新しい解析法を提案する。本研究は,4種類の共通定常カーネル関数に拡張する。
参考スコア（独自算出の注目度）: 34.910533903800115
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in Deep Gaussian Processes (DGPs) show the potential to have more expressive representation than that of traditional Gaussian Processes (GPs). However, there exists a pathology of deep Gaussian processes that their learning capacities reduce significantly when the number of layers increases. In this paper, we present a new analysis in DGPs by studying its corresponding nonlinear dynamic systems to explain the issue. Existing work reports the pathology for the squared exponential kernel function. We extend our investigation to four types of common stationary kernel functions. The recurrence relations between layers are analytically derived, providing a tighter bound and the rate of convergence of the dynamic systems. We demonstrate our finding with a number of experimental results.
Abstract（参考訳）: 近年のディープガウス過程(DGP)の進歩は、従来のガウス過程(GP)よりも表現力に富む可能性が示されている。しかし、層数が増加すると学習能力が大幅に低下する、深いガウス過程の病理が存在する。本稿では,それに対応する非線形力学系を解析し,dgpsの新たな解析手法を提案する。既存の研究は、二乗指数核関数の病理を報告している。本研究は,4種類の共通定常カーネル関数に拡張する。層間の再帰関係は解析的に導出され、より密接な結合と動的系の収束率をもたらす。我々は多くの実験結果を用いて発見を実証した。

関連論文リスト

Gaussian Process Neural Additive Models [3.7969209746164325]
ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
論文参考訳（メタデータ） (2024-02-19T20:29:34Z)
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文参考訳（メタデータ） (2023-10-16T19:00:43Z)
Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
論文参考訳（メタデータ） (2023-06-01T16:31:36Z)
Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
論文参考訳（メタデータ） (2022-06-29T19:03:10Z)
Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文参考訳（メタデータ） (2021-10-26T10:45:25Z)
Going beyond p-convolutions to learn grayscale morphological operators [64.38361575778237]
p-畳み込み層と同じ原理に基づく2つの新しい形態層を提示する。本研究では, p-畳み込み層と同じ原理に基づく2つの新しい形態層を示す。
論文参考訳（メタデータ） (2021-02-19T17:22:16Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Reinforcement Learning via Gaussian Processes with Neural Network Dual Kernels [0.0]
ニューラルネットワーク二重カーネルは回帰学習や強化学習に効率的に適用可能であることを示す。我々は、よく理解されたマウンテンカー問題を用いて、デュアルカーネルで権限を持つGPが、従来のラジアル基底関数カーネルと同様に、少なくとも性能を発揮することを示した。
論文参考訳（メタデータ） (2020-04-10T18:36:21Z)
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文参考訳（メタデータ） (2020-03-05T14:33:20Z)
Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes [144.6048446370369]
グラフ畳み込みニューラルネットワーク(GCN)は近年,グラフに基づく半教師付き半教師付き分類において有望な結果を示した。グラフに基づく半教師付き学習のためのGCN(GPGC)を用いたGP回帰モデルを提案する。 GPGCを評価するための広範囲な実験を行い、他の最先端手法よりも優れていることを示す。
論文参考訳（メタデータ） (2020-02-26T10:02:32Z)
Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks [12.692279981822011]
指数線型単位(ELU)とガウス誤差線形単位(GELU)を持つ多層パーセプトロンの共分散関数を導出する。我々は、幅広い活性化関数に対応する繰り返しカーネルの固定点ダイナミクスを解析する。これまで研究されてきたニューラルネットワークカーネルとは異なり、これらの新しいカーネルは非自明な固定点ダイナミクスを示す。
論文参考訳（メタデータ） (2020-02-20T01:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。