Fugu-MT 論文翻訳(概要): Autoregressive Conditional Neural Processes

論文の概要: Autoregressive Conditional Neural Processes

arxiv url: http://arxiv.org/abs/2303.14468v1
Date: Sat, 25 Mar 2023 13:34:12 GMT
ステータス: 処理完了
システム内更新日: 2023-03-28 19:33:48.608871
Title: Autoregressive Conditional Neural Processes
Title（参考訳）: 自己回帰型条件ニューラルプロセス
Authors: Wessel P. Bruinsma, Stratis Markou, James Requiema, Andrew Y. K. Foong, Tom R. Andersson, Anna Vaughan, Anthony Buonomo, J. Scott Hosking, Richard E. Turner
Abstract要約: 条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
参考スコア（独自算出の注目度）: 20.587835119831595
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Conditional neural processes (CNPs; Garnelo et al., 2018a) are attractive meta-learning models which produce well-calibrated predictions and are trainable via a simple maximum likelihood procedure. Although CNPs have many advantages, they are unable to model dependencies in their predictions. Various works propose solutions to this, but these come at the cost of either requiring approximate inference or being limited to Gaussian predictions. In this work, we instead propose to change how CNPs are deployed at test time, without any modifications to the model or training procedure. Instead of making predictions independently for every target point, we autoregressively define a joint predictive distribution using the chain rule of probability, taking inspiration from the neural autoregressive density estimator (NADE) literature. We show that this simple procedure allows factorised Gaussian CNPs to model highly dependent, non-Gaussian predictive distributions. Perhaps surprisingly, in an extensive range of tasks with synthetic and real data, we show that CNPs in autoregressive (AR) mode not only significantly outperform non-AR CNPs, but are also competitive with more sophisticated models that are significantly more computationally expensive and challenging to train. This performance is remarkable given that AR CNPs are not trained to model joint dependencies. Our work provides an example of how ideas from neural distribution estimation can benefit neural processes, and motivates research into the AR deployment of other neural process models.
Abstract（参考訳）: 条件付きニューラルプロセス(CNPs; Garnelo et al., 2018a)は、よく校正された予測を生成する魅力的なメタラーニングモデルであり、単純な最大精度の手順で訓練することができる。 CNPには多くの利点があるが、予測において依存関係をモデル化することはできない。様々な研究がこれを解決することを提案しているが、これらは近似推論を必要とするかガウス予測に制限されるかのどちらかのコストで生じる。本研究では、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。各目標点に対して独立に予測を行う代わりに、確率の連鎖規則を用いて、自己回帰的密度推定器(NADE)の文献から着想を得て、共同予測分布を自己回帰的に定義する。この単純な手順により、分解されたガウス CNP が高依存性の非ガウス予測分布をモデル化できることを示す。意外なことに、合成データや実データを扱う幅広いタスクにおいて、自己回帰(AR)モードのCNPが非AR CNPよりも大幅に優れているだけでなく、計算コストが大幅に高く、訓練が難しいモデルと競合していることを示す。 AR CNPは、ジョイント依存関係をモデル化する訓練を受けていないため、このパフォーマンスは注目に値する。我々の研究は、神経分布推定のアイデアがニューラルプロセスにどう役立つかを示し、他のニューラルプロセスモデルのAR展開の研究を動機付ける。

関連論文リスト

Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文参考訳（メタデータ） (2024-11-01T21:11:48Z)
Convolutional Conditional Neural Processes [6.532867867011488]
この理論は神経過程を3つの方法で前進させる。 ConvNPは、変換分散と呼ばれる対称性で構築することで、データ効率を向上させる。 GNPは神経過程の予測において依存関係を直接パラメライズする。 AR CNPは、モデルやトレーニング手順を変更することなく、ニューラルネットワークをトレーニングし、テスト時には、自己回帰的な方法でモデルをロールアウトする。
論文参考訳（メタデータ） (2024-08-18T19:53:38Z)
Human Trajectory Forecasting with Explainable Behavioral Uncertainty [63.62824628085961]
人間の軌道予測は人間の行動を理解し予測し、社会ロボットから自動運転車への応用を可能にする。モデルフリー手法は予測精度が優れているが説明可能性に欠ける一方、モデルベース手法は説明可能性を提供するが、よく予測できない。 BNSP-SFMは,11種類の最先端手法と比較して,予測精度を最大50%向上することを示す。
論文参考訳（メタデータ） (2023-07-04T16:45:21Z)
Conditional Neural Processes for Molecules [0.0]
ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。 CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
論文参考訳（メタデータ） (2022-10-17T16:10:12Z)
Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
論文参考訳（メタデータ） (2022-07-21T18:00:01Z)
Practical Conditional Neural Processes Via Tractable Dependent Predictions [25.15531845287349]
条件付きニューラルプロセス(CNP)は、ディープラーニングの柔軟性を利用して、よく校正された予測を生成するメタラーニングモデルである。 CNPは相関予測を生成せず、多くの見積もりや意思決定タスクに不適当である。本稿では,相関予測を行い,精度の高い学習を支援するニューラル・プロセス・モデルを提案する。
論文参考訳（メタデータ） (2022-03-16T17:37:41Z)
Efficient Gaussian Neural Processes for Regression [7.149677544861951]
条件付きニューラルプロセス(CNP)は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度手順でトレーニングできる。 CNPの制限は、出力の依存性をモデル化できないことである。出力依存をモデル化する別の方法を提案する。
論文参考訳（メタデータ） (2021-08-22T09:31:50Z)
Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文参考訳（メタデータ） (2021-06-25T22:08:51Z)
When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
論文参考訳（メタデータ） (2021-06-07T18:31:47Z)
Bootstrapping Neural Processes [114.97111530885093]
ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
論文参考訳（メタデータ） (2020-08-07T02:23:34Z)
Efficient Model-Based Reinforcement Learning through Optimistic Policy Search and Planning [93.1435980666675]
最先端の強化学習アルゴリズムと楽観的な探索を容易に組み合わせることができることを示す。我々の実験は、楽観的な探索が行動に罰則がある場合、学習を著しくスピードアップすることを示した。
論文参考訳（メタデータ） (2020-06-15T18:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。