Fugu-MT 論文翻訳(概要): Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks

論文の概要: Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2305.17063v1
Date: Fri, 26 May 2023 16:19:26 GMT
ステータス: 処理完了
システム内更新日: 2023-05-29 13:38:32.992735
Title: Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks
Title（参考訳）: 深層ニューラルネットワークの内部表現に関するvecchia gaussianプロセスアンサンブル
Authors: Felix Jimenez, Matthias Katzfuss
Abstract要約: レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。本稿では,DNNの隠れ層の出力に基づいて構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つの手法を組み合わせることを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: For regression tasks, standard Gaussian processes (GPs) provide natural uncertainty quantification, while deep neural networks (DNNs) excel at representation learning. We propose to synergistically combine these two approaches in a hybrid method consisting of an ensemble of GPs built on the output of hidden layers of a DNN. GP scalability is achieved via Vecchia approximations that exploit nearest-neighbor conditional independence. The resulting deep Vecchia ensemble not only imbues the DNN with uncertainty quantification but can also provide more accurate and robust predictions. We demonstrate the utility of our model on several datasets and carry out experiments to understand the inner workings of the proposed method.
Abstract（参考訳）: レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。本稿では,DNNの隠れ層の出力上に構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つのアプローチを相乗的に組み合わせることを提案する。 GPスケーラビリティは最隣接条件独立性を利用するVecchia近似によって達成される。その結果、深部ヴェッキアのアンサンブルはDNNに不確実な定量化を与えるだけでなく、より正確で堅牢な予測を与えることができる。提案手法では,複数のデータセット上でモデルの有用性を実証し,提案手法の内部動作を理解する実験を行う。

関連論文リスト

The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。本稿では,凸型神経回復モデルについて検討する。定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文参考訳（メタデータ） (2023-12-19T23:04:56Z)
Linear Time GPs for Inferring Latent Trajectories from Neural Spike Trains [7.936841911281107]
我々は,Hida-Mat'ernカーネルと共役変分推論(CVI)を利用した潜在GPモデルの一般的な推論フレームワークであるcvHMを提案する。我々は任意の確率で線形時間複雑性を持つ潜在神経軌道の変分推定を行うことができる。
論文参考訳（メタデータ） (2023-06-01T16:31:36Z)
Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Guided Deep Kernel Learning [42.53025115287688]
無限幅ニューラルネットワークを用いて深層カーネルを学習するための新しい手法を提案する。提案手法は,新しいデータポイントに遭遇した場合に,DKL目標の信頼度に適応するために,NNGPの信頼性の高い不確実性推定を利用する。
論文参考訳（メタデータ） (2023-02-19T13:37:34Z)
Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
論文参考訳（メタデータ） (2022-06-06T14:26:34Z)
Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文参考訳（メタデータ） (2022-04-01T03:31:27Z)
Robust Learning via Ensemble Density Propagation in Deep Neural Networks [6.0122901245834015]
本稿では,ディープニューラルネットワーク(DNN)の層を通した密度伝搬の問題を定式化し,それをエンサンブル密度伝搬法を用いて解く。 MNISTとCIFAR-10データセットを用いた実験は、ランダムノイズや敵攻撃に対するトレーニングモデルの堅牢性を大幅に改善したことを示している。
論文参考訳（メタデータ） (2021-11-10T21:26:08Z)
Deep Neural Networks as Point Estimates for Deep Gaussian Processes [44.585609003513625]
本稿では,DGPの近似的な後進平均がディープニューラルネットワーク(DNN)と同じ数学的構造を持つスパース変分近似を提案する。我々は、GP後方平均をReLU基底関数の和として表すドメイン間変換を求めることで、ReLU DNNと同等のDGPを前方通過させる。実験は、現在のDGP法と比較して精度の向上とトレーニングの高速化を実証し、良好な予測不確実性を維持します。
論文参考訳（メタデータ） (2021-05-10T16:55:17Z)
Fusing the Old with the New: Learning Relative Camera Pose with Geometry-Guided Uncertainty [91.0564497403256]
本稿では,ネットワークトレーニング中の2つの予測系間の確率的融合を含む新しい枠組みを提案する。本ネットワークは,異なる対応間の強い相互作用を強制することにより学習を駆動する自己追跡グラフニューラルネットワークを特徴とする。学習に適したモーションパーマリゼーションを提案し、難易度の高いDeMoNおよびScanNetデータセットで最新のパフォーマンスを達成できることを示します。
論文参考訳（メタデータ） (2021-04-16T17:59:06Z)
The Gaussian Neural Process [39.81327564209865]
条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
論文参考訳（メタデータ） (2021-01-10T19:15:27Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。