論文の概要: Spherical Inducing Features for Orthogonally-Decoupled Gaussian
Processes
- arxiv url: http://arxiv.org/abs/2304.14034v2
- Date: Thu, 15 Jun 2023 11:51:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 01:07:02.999188
- Title: Spherical Inducing Features for Orthogonally-Decoupled Gaussian
Processes
- Title(参考訳): 直交分解ガウス過程の球面誘導特性
- Authors: Louis C. Tiao, Vincent Dutordoir, Victor Picheny
- Abstract要約: ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。
GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
- 参考スコア(独自算出の注目度): 7.4468224549568705
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite their many desirable properties, Gaussian processes (GPs) are often
compared unfavorably to deep neural networks (NNs) for lacking the ability to
learn representations. Recent efforts to bridge the gap between GPs and deep
NNs have yielded a new class of inter-domain variational GPs in which the
inducing variables correspond to hidden units of a feedforward NN. In this
work, we examine some practical issues associated with this approach and
propose an extension that leverages the orthogonal decomposition of GPs to
mitigate these limitations. In particular, we introduce spherical inter-domain
features to construct more flexible data-dependent basis functions for both the
principal and orthogonal components of the GP approximation and show that
incorporating NN activation features under this framework not only alleviates
these shortcomings but is more scalable than alternative strategies.
Experiments on multiple benchmark datasets demonstrate the effectiveness of our
approach.
- Abstract(参考訳): 多くの望ましい性質にもかかわらず、ガウス過程(GP)は表現を学習する能力がないため、しばしば深層ニューラルネットワーク(NN)と比較される。
GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変動型GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
そこで本研究では,GPの直交分解を利用してこれらの制約を緩和する拡張法を提案する。
特に、GP近似の主成分と直交成分の両方に対して、より柔軟なデータ依存基底関数を構築するための球面間機能を導入し、これらの欠点を緩和するだけでなく、代替戦略よりもスケーラブルであることを示す。
複数のベンチマークデータセットの実験は、我々のアプローチの有効性を示す。
関連論文リスト
- Gaussian Process Neural Additive Models [4.267358667525464]
ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。
GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。
GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2024-02-19T20:29:34Z) - Neural Networks Asymptotic Behaviours for the Resolution of Inverse
Problems [0.0]
本稿では,畳み込み逆問題に対するニューラルネットワーク(NN)手法の有効性について検討する。
NNのパラメータの非線形性を無視できるGaussian Processs(GP)に対応するNNの制限について検討する。
格子上のモンテカルロ法でシミュレートされた量子調和振動子の場合、デコンボリューション逆問題に対処する。
論文 参考訳(メタデータ) (2024-02-14T17:42:24Z) - Training dynamics in Physics-Informed Neural Networks with feature
mapping [2.2274608188690666]
物理インフォームドニューラルネットワーク(PINN)は、部分微分方程式(PDE)を解くための象徴的な機械学習手法として登場した。
本研究では,特徴写像層を持つPINNのトレーニングダイナミクスを,共役カーネルとニューラルタンジェントカーネルの制限により検討する。
この単純な手法は、入力ネットワークのコーディネートで容易に実装でき、幅広いPINNの研究に役立てることができる。
論文 参考訳(メタデータ) (2024-02-10T13:51:09Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳(メタデータ) (2022-10-25T14:45:15Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。
NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
論文 参考訳(メタデータ) (2021-10-26T10:45:25Z) - Modulating Scalable Gaussian Processes for Expressive Statistical
Learning [25.356503463916816]
ガウス過程(GP)は、入力と出力の間の統計的関係を学ぶことに興味がある。
本稿では,非定常ヘテロセダスティックGP,GPと潜在GPの混合を含む,スケーラブルなGPパラダイムについて検討し,よりリッチでガウス的でない統計表現を学習するために,出力や入力を変調する潜在変数を導入する。
論文 参考訳(メタデータ) (2020-08-29T06:41:45Z) - On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。
入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
論文 参考訳(メタデータ) (2020-07-04T23:43:32Z) - Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。
ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。
本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
論文 参考訳(メタデータ) (2020-06-18T13:57:01Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。