論文の概要: Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes

• arxiv url: http://arxiv.org/abs/2304.14034v1
• Date: Thu, 27 Apr 2023 09:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-28 13:56:26.383979
• Title: Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes
• Title（参考訳）: 直交分解ガウス過程の球面誘導特性
• Authors: Louis C. Tiao, Vincent Dutordoir, Victor Picheny
• Abstract要約: ガウス過程(GP)は、表現を学習する能力の欠如により、ディープニューラルネットワーク(NN)と比較されることがしばしばある。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変分GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。
• 参考スコア（独自算出の注目度）: 7.4468224549568705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their many desirable properties, Gaussian processes (GPs) are often compared unfavorably to deep neural networks (NNs) for lacking the ability to learn representations. Recent efforts to bridge the gap between GPs and deep NNs have yielded a new class of inter-domain variational GPs in which the inducing variables correspond to hidden units of a feedforward NN. In this work, we examine some practical issues associated with this approach and propose an extension that leverages the orthogonal decomposition of GPs to mitigate these limitations. In particular, we introduce spherical inter-domain features to construct more flexible data-dependent basis functions for both the principal and orthogonal components of the GP approximation and show that incorporating NN activation features under this framework not only alleviates these shortcomings but is more scalable than alternative strategies. Experiments on multiple benchmark datasets demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 多くの望ましい性質にもかかわらず、ガウス過程(GP)は表現を学習する能力がないため、しばしば深層ニューラルネットワーク(NN)と比較される。 GPとディープNNのギャップを埋める最近の試みは、新しいタイプのドメイン間変動型GPを生み出し、誘導変数はフィードフォワードNNの隠れ単位に対応する。 そこで本研究では,GPの直交分解を利用してこれらの制約を緩和する拡張法を提案する。 特に、GP近似の主成分と直交成分の両方に対して、より柔軟なデータ依存基底関数を構築するための球面間機能を導入し、これらの欠点を緩和するだけでなく、代替戦略よりもスケーラブルであることを示す。 複数のベンチマークデータセットの実験は、我々のアプローチの有効性を示す。

関連論文リスト

• Joint Diffusion Processes as an Inductive Bias in Sheaf Neural Networks [14.224234978509026]
  せん断ニューラルネットワーク(SNN)は自然にグラフニューラルネットワーク(GNN)を拡張する 構造図をより直感的に理解するための2つの新しいせん断学習手法を提案する。 評価では,これまでのSNNで使用されている実世界のベンチマークの限界を示す。
  論文  参考訳（メタデータ） (2024-07-30T07:17:46Z)
• RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
  物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。 本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。 実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
  論文  参考訳（メタデータ） (2024-05-23T09:45:57Z)
• Active Learning with Fully Bayesian Neural Networks for Discontinuous and Nonstationary Data [0.0]
  我々は,「小さなデータ」体制下でのアクティブな学習タスクに対して,完全ベイズニューラルネットワーク(FBNN)を導入する。 FBNNは信頼性の高い予測分布を提供し、アクティブな学習環境における不確実性の下で情報的意思決定に不可欠である。 そこで我々は,FBNNの「小型データ」システムにおけるアクティブな学習課題に対するNo-U-Turn Samplerを用いて,FBNNの適合性と性能を評価する。
  論文  参考訳（メタデータ） (2024-05-16T05:20:47Z)
• Gaussian Process Neural Additive Models [3.7969209746164325]
  ランダムフーリエ特徴を用いたガウス過程の単一層ニューラルネットワーク構築を用いたニューラル付加モデル(NAM)の新たなサブクラスを提案する。 GP-NAMは凸目的関数と、特徴次元と線形に成長する訓練可能なパラメータの数が有利である。 GP-NAMは,パラメータ数を大幅に削減して,分類タスクと回帰タスクの両方において,同等あるいはより優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-02-19T20:29:34Z)
• Neural Networks Asymptotic Behaviours for the Resolution of Inverse Problems [0.0]
  本稿では,畳み込み逆問題に対するニューラルネットワーク(NN)手法の有効性について検討する。 NNのパラメータの非線形性を無視できるGaussian Processs(GP)に対応するNNの制限について検討する。 格子上のモンテカルロ法でシミュレートされた量子調和振動子の場合、デコンボリューション逆問題に対処する。
  論文  参考訳（メタデータ） (2024-02-14T17:42:24Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• On Connections between Regularizations for Improving DNN Robustness [67.28077776415724]
  本稿では,ディープニューラルネットワーク(DNN)の対角的ロバスト性を改善するために最近提案された正規化条件を解析する。 入力勾配正則化,ジャコビアン正則化,曲率正則化,クロスリプシッツ関数など,いくつかの有効な方法間の接続性について検討する。
  論文  参考訳（メタデータ） (2020-07-04T23:43:32Z)
• Infinite attention: NNGP and NTK for deep attention networks [38.55012122588628]
  広範ニューラルネットワーク(NN)とガウス過程(GP)の等価性を同定する。 ガウス的でない振る舞いを誘発する単一ヘッドアテンションとは異なり、多ヘッドアテンションアーキテクチャは、ヘッドの数が無限大になる傾向があるため、GPとして振る舞う。 本稿では,NNGP/NTKモデルの可変長列に適用可能なニューラルタンジェンツライブラリの新機能を紹介する。
  論文  参考訳（メタデータ） (2020-06-18T13:57:01Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。