Fugu-MT 論文翻訳(概要): Efficient Gaussian Neural Processes for Regression

論文の概要: Efficient Gaussian Neural Processes for Regression

arxiv url: http://arxiv.org/abs/2108.09676v2
Date: Tue, 24 Aug 2021 08:58:58 GMT
ステータス: 処理完了
システム内更新日: 2021-08-25 11:25:44.823556
Title: Efficient Gaussian Neural Processes for Regression
Title（参考訳）: 回帰のための効率的なガウス神経プロセス
Authors: Stratis Markou, James Requeima, Wessel Bruinsma, Richard Turner
Abstract要約: 条件付きニューラルプロセス(CNP)は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度手順でトレーニングできる。 CNPの制限は、出力の依存性をモデル化できないことである。出力依存をモデル化する別の方法を提案する。
参考スコア（独自算出の注目度）: 7.149677544861951
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Conditional Neural Processes (CNP; Garnelo et al., 2018) are an attractive family of meta-learning models which produce well-calibrated predictions, enable fast inference at test time, and are trainable via a simple maximum likelihood procedure. A limitation of CNPs is their inability to model dependencies in the outputs. This significantly hurts predictive performance and renders it impossible to draw coherent function samples, which limits the applicability of CNPs in down-stream applications and decision making. Neural Processes (NPs; Garnelo et al., 2018) attempt to alleviate this issue by using latent variables, relying on these to model output dependencies, but introduces difficulties stemming from approximate inference. One recent alternative (Bruinsma et al.,2021), which we refer to as the FullConvGNP, models dependencies in the predictions while still being trainable via exact maximum-likelihood. Unfortunately, the FullConvGNP relies on expensive 2D-dimensional convolutions, which limit its applicability to only one-dimensional data. In this work, we present an alternative way to model output dependencies which also lends itself maximum likelihood training but, unlike the FullConvGNP, can be scaled to two- and three-dimensional data. The proposed models exhibit good performance in synthetic experiments.
Abstract（参考訳）: Conditional Neural Processs (CNP; Garnelo et al., 2018) は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度の手順でトレーニングできる、魅力的なメタラーニングモデルのファミリーである。 CNPの制限は、出力の依存性をモデル化できないことである。これにより予測性能が著しく低下し、コヒーレント関数サンプルの描画が不可能になるため、下流アプリケーションや意思決定におけるCNPの適用性が制限される。ニューラルプロセス(nps; garnelo et al., 2018)は、潜在変数を使用してこの問題を緩和し、出力依存性をモデル化するが、近似推論による困難をもたらす。最近の代替案 (Bruinsma et al.,2021) はFullConvGNPと呼ばれ、予測の依存性をモデル化し、正確な最大形でトレーニング可能である。残念ながらFullConvGNPは高価な2次元畳み込みに依存しており、1次元のデータしか適用できない。本研究では,出力依存性をモデル化する別の手法を提案する。この手法は,最大確率トレーニングにも応用できるが,fullconvgnpと異なり,2次元データと3次元データにスケールできる。提案手法は合成実験において良好な性能を示す。

関連論文リスト

Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。このような問題は医学、物理学、機械学習で発生する。両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文参考訳（メタデータ） (2024-11-21T10:26:17Z)
Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文参考訳（メタデータ） (2024-11-01T21:11:48Z)
Beyond Closure Models: Learning Chaotic-Systems via Physics-Informed Neural Operators [78.64101336150419]
カオスシステムの長期的挙動を予測することは、気候モデリングなどの様々な応用に不可欠である。このような完全解法シミュレーションに対する別のアプローチは、粗いグリッドを使用して、時間テキストモデルによってエラーを修正することである。この制限を克服する物理インフォームド・ニューラル演算子(PINO)を用いたエンド・ツー・エンドの学習手法を提案する。
論文参考訳（メタデータ） (2024-08-09T17:05:45Z)
A Pseudo-Semantic Loss for Autoregressive Models with Logical Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文参考訳（メタデータ） (2023-12-06T20:58:07Z)
Practical Equivariances via Relational Conditional Neural Processes [20.192899181958264]
コンディショナル・ニューラル・プロセス(Conditional Neural Processs, CNP)は、アモルト化量子化の効率と確実な不確実性を組み合わせた条件付きメタモデルである。本稿では,任意のニューラルプロセスモデルに等価性を組み込む効果的なアプローチとして,条件付きニューラルプロセス(RCNP)を提案する。提案手法は, 同変過程の適用性と影響を高次元に拡張する。
論文参考訳（メタデータ） (2023-06-19T13:27:27Z)
Autoregressive Conditional Neural Processes [20.587835119831595]
条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
論文参考訳（メタデータ） (2023-03-25T13:34:12Z)
Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
論文参考訳（メタデータ） (2022-07-09T02:28:58Z)
Practical Conditional Neural Processes Via Tractable Dependent Predictions [25.15531845287349]
条件付きニューラルプロセス(CNP)は、ディープラーニングの柔軟性を利用して、よく校正された予測を生成するメタラーニングモデルである。 CNPは相関予測を生成せず、多くの見積もりや意思決定タスクに不適当である。本稿では,相関予測を行い,精度の高い学習を支援するニューラル・プロセス・モデルを提案する。
論文参考訳（メタデータ） (2022-03-16T17:37:41Z)
TSNAT: Two-Step Non-Autoregressvie Transformer Models for Speech Recognition [69.68154370877615]
非自己回帰(NAR)モデルは、出力トークン間の時間的依存関係を排除し、少なくとも1ステップで出力トークン全体を予測することができる。この2つの問題に対処するため,TSNATと呼ばれる新しいモデルを提案する。以上の結果から,TSNATはARモデルと競合する性能を示し,複雑なNARモデルよりも優れていた。
論文参考訳（メタデータ） (2021-04-04T02:34:55Z)
Bootstrapping Neural Processes [114.97111530885093]
ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
論文参考訳（メタデータ） (2020-08-07T02:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。