論文の概要: Neural Diffusion Processes
- arxiv url: http://arxiv.org/abs/2206.03992v1
- Date: Wed, 8 Jun 2022 16:13:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:18:05.058691
- Title: Neural Diffusion Processes
- Title(参考訳): 神経拡散過程
- Authors: Vincent Dutordoir, Alan Saul, Zoubin Ghahramani, Fergus Simpson
- Abstract要約: ニューラル拡散過程(NDP)を提案する。
NDPは関数上の分布からサンプルを学ぶ。
我々は、NDPがガウス過程の真のベイズ的後部に近い函数分布を捉えることができることを実証的に示す。
- 参考スコア(独自算出の注目度): 12.744250155946503
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Gaussian processes provide an elegant framework for specifying prior and
posterior distributions over functions. They are, however, also computationally
expensive, and limited by the expressivity of their covariance function. We
propose Neural Diffusion Processes (NDPs), a novel approach based upon
diffusion models, that learn to sample from distributions over functions. Using
a novel attention block, we can incorporate properties of stochastic processes,
such as exchangeability, directly into the NDP's architecture. We empirically
show that NDPs are able to capture functional distributions that are close to
the true Bayesian posterior of a Gaussian process. This enables a variety of
downstream tasks, including hyperparameter marginalisation and Bayesian
optimisation.
- Abstract(参考訳): ガウス過程は関数上の事前分布と後続分布を特定するためのエレガントな枠組みを提供する。
しかし、それらは計算的に高価であり、共分散関数の表現性によって制限される。
拡散モデルに基づく新しい手法であるニューラル拡散プロセス(NDP)を提案し,関数上の分布からサンプルを学習する。
新たな注目ブロックを用いることで、交換可能性などの確率過程の特性を直接NDPのアーキテクチャに組み込むことができる。
我々は、NDPがガウス過程の真のベイズ的後部に近い函数分布を捉えることができることを実証的に示す。
これにより、ハイパーパラメータのマージン化やベイズ最適化など、さまざまな下流タスクが可能になる。
関連論文リスト
- The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳(メタデータ) (2023-12-19T23:04:56Z) - Variational Gaussian Process Diffusion Processes [17.716059928867345]
拡散過程(英: Diffusion process)は、微分方程式(SDE)のクラスであり、表現的モデルの豊富な族を提供する。
非線型拡散過程が先行する潜在過程を持つ生成モデルの下での確率的推論と学習は難解な問題である。
本研究では, 線形拡散過程として後続過程を近似し, アプローチの病理を指摘する。
論文 参考訳(メタデータ) (2023-06-03T09:43:59Z) - Adaptive Conditional Quantile Neural Processes [9.066817971329899]
条件量子ニューラルプロセス(CQNP)は、ニューラルプロセスファミリーの新たなメンバーである。
本稿では,情報量推定に焦点をあてることから学習する量子レグレッションの拡張を提案する。
実データと合成データセットによる実験は、予測性能を大幅に改善した。
論文 参考訳(メタデータ) (2023-05-30T06:19:19Z) - Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。
これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
論文 参考訳(メタデータ) (2023-05-24T21:15:23Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-01-21T04:08:46Z) - Latent Variable Representation for Reinforcement Learning [131.03944557979725]
モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。
状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。
特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-17T00:26:31Z) - Learning High-Dimensional Distributions with Latent Neural Fokker-Planck
Kernels [67.81799703916563]
低次元潜在空間におけるフォッカー・プランク方程式の解法として問題を定式化する新しい手法を導入する。
提案モデルでは,潜在分散モーフィング,ジェネレータ,パラメータ化Fokker-Planckカーネル関数からなる。
論文 参考訳(メタデータ) (2021-05-10T17:42:01Z) - The Gaussian Neural Process [39.81327564209865]
条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。
本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
論文 参考訳(メタデータ) (2021-01-10T19:15:27Z) - Meta-Learning Stationary Stochastic Process Prediction with
Convolutional Neural Processes [32.02612871707347]
提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。
本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
論文 参考訳(メタデータ) (2020-07-02T18:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。