論文の概要: Efficient Gaussian Neural Processes for Regression
- arxiv url: http://arxiv.org/abs/2108.09676v2
- Date: Tue, 24 Aug 2021 08:58:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-25 11:25:44.823556
- Title: Efficient Gaussian Neural Processes for Regression
- Title(参考訳): 回帰のための効率的なガウス神経プロセス
- Authors: Stratis Markou, James Requeima, Wessel Bruinsma, Richard Turner
- Abstract要約: 条件付きニューラルプロセス(CNP)は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度手順でトレーニングできる。
CNPの制限は、出力の依存性をモデル化できないことである。
出力依存をモデル化する別の方法を提案する。
- 参考スコア(独自算出の注目度): 7.149677544861951
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conditional Neural Processes (CNP; Garnelo et al., 2018) are an attractive
family of meta-learning models which produce well-calibrated predictions,
enable fast inference at test time, and are trainable via a simple maximum
likelihood procedure. A limitation of CNPs is their inability to model
dependencies in the outputs. This significantly hurts predictive performance
and renders it impossible to draw coherent function samples, which limits the
applicability of CNPs in down-stream applications and decision making. Neural
Processes (NPs; Garnelo et al., 2018) attempt to alleviate this issue by using
latent variables, relying on these to model output dependencies, but introduces
difficulties stemming from approximate inference. One recent alternative
(Bruinsma et al.,2021), which we refer to as the FullConvGNP, models
dependencies in the predictions while still being trainable via exact
maximum-likelihood. Unfortunately, the FullConvGNP relies on expensive
2D-dimensional convolutions, which limit its applicability to only
one-dimensional data. In this work, we present an alternative way to model
output dependencies which also lends itself maximum likelihood training but,
unlike the FullConvGNP, can be scaled to two- and three-dimensional data. The
proposed models exhibit good performance in synthetic experiments.
- Abstract(参考訳): Conditional Neural Processs (CNP; Garnelo et al., 2018) は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度の手順でトレーニングできる、魅力的なメタラーニングモデルのファミリーである。
CNPの制限は、出力の依存性をモデル化できないことである。
これにより予測性能が著しく低下し、コヒーレント関数サンプルの描画が不可能になるため、下流アプリケーションや意思決定におけるCNPの適用性が制限される。
ニューラルプロセス(nps; garnelo et al., 2018)は、潜在変数を使用してこの問題を緩和し、出力依存性をモデル化するが、近似推論による困難をもたらす。
最近の代替案 (Bruinsma et al.,2021) はFullConvGNPと呼ばれ、予測の依存性をモデル化し、正確な最大形でトレーニング可能である。
残念ながらFullConvGNPは高価な2次元畳み込みに依存しており、1次元のデータしか適用できない。
本研究では,出力依存性をモデル化する別の手法を提案する。この手法は,最大確率トレーニングにも応用できるが,fullconvgnpと異なり,2次元データと3次元データにスケールできる。
提案手法は合成実験において良好な性能を示す。
関連論文リスト
- A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳(メタデータ) (2023-12-06T20:58:07Z) - Practical Equivariances via Relational Conditional Neural Processes [20.192899181958264]
コンディショナル・ニューラル・プロセス(Conditional Neural Processs, CNP)は、アモルト化量子化の効率と確実な不確実性を組み合わせた条件付きメタモデルである。
本稿では,任意のニューラルプロセスモデルに等価性を組み込む効果的なアプローチとして,条件付きニューラルプロセス(RCNP)を提案する。
提案手法は, 同変過程の適用性と影響を高次元に拡張する。
論文 参考訳(メタデータ) (2023-06-19T13:27:27Z) - Autoregressive Conditional Neural Processes [20.587835119831595]
条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。
それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。
CNPは、予測において依存関係をモデル化できない。
我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
論文 参考訳(メタデータ) (2023-03-25T13:34:12Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-01-21T04:08:46Z) - Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
LBANP(Latent Bottlenecked Attentive Neural Processs)について
LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。
LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-11-15T19:21:41Z) - Transformer Neural Processes: Uncertainty-Aware Meta Learning Via
Sequence Modeling [26.377099481072992]
本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。
我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。
我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
論文 参考訳(メタデータ) (2022-07-09T02:28:58Z) - Practical Conditional Neural Processes Via Tractable Dependent
Predictions [25.15531845287349]
条件付きニューラルプロセス(CNP)は、ディープラーニングの柔軟性を利用して、よく校正された予測を生成するメタラーニングモデルである。
CNPは相関予測を生成せず、多くの見積もりや意思決定タスクに不適当である。
本稿では,相関予測を行い,精度の高い学習を支援するニューラル・プロセス・モデルを提案する。
論文 参考訳(メタデータ) (2022-03-16T17:37:41Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。
CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。
また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
論文 参考訳(メタデータ) (2021-06-01T18:25:22Z) - TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech
Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。
この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。
以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文 参考訳(メタデータ) (2021-04-04T02:34:55Z) - Bootstrapping Neural Processes [114.97111530885093]
ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。
NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。
本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。