論文の概要: Adversarially Contrastive Estimation of Conditional Neural Processes
- arxiv url: http://arxiv.org/abs/2303.13004v1
- Date: Thu, 23 Mar 2023 02:58:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 15:50:12.691305
- Title: Adversarially Contrastive Estimation of Conditional Neural Processes
- Title(参考訳): 条件付き神経過程の相反的推定
- Authors: Zesheng Ye, Jing Du, Lina Yao
- Abstract要約: 条件付きニューラルプロセス(CNP)は関数上の分布を定式化し、正確な条件付き確率で関数観測を生成する。
我々は,正規最大推定値以外の逆トレーニング方式でCNPを校正する手法を提案する。
生成関数再構成から下流回帰および分類タスクに至るまで,本手法が主流のCNPメンバーに適合することが実証された。
- 参考スコア(独自算出の注目度): 39.77675002999259
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Conditional Neural Processes~(CNPs) formulate distributions over functions
and generate function observations with exact conditional likelihoods. CNPs,
however, have limited expressivity for high-dimensional observations, since
their predictive distribution is factorized into a product of unconstrained
(typically) Gaussian outputs. Previously, this could be handled using latent
variables or autoregressive likelihood, but at the expense of intractable
training and quadratically increased complexity. Instead, we propose
calibrating CNPs with an adversarial training scheme besides regular maximum
likelihood estimates. Specifically, we train an energy-based model (EBM) with
noise contrastive estimation, which enforces EBM to identify true observations
from the generations of CNP. In this way, CNP must generate predictions closer
to the ground-truth to fool EBM, instead of merely optimizing with respect to
the fixed-form likelihood. From generative function reconstruction to
downstream regression and classification tasks, we demonstrate that our method
fits mainstream CNP members, showing effectiveness when unconstrained Gaussian
likelihood is defined, requiring minimal computation overhead while preserving
foundation properties of CNPs.
- Abstract(参考訳): 条件付きニューラルプロセス~(CNP)は関数上の分布を定式化し、正確な条件付き確率で関数観測を生成する。
しかし、CNPは、その予測分布が非制約(典型的には)ガウス出力の積に分解されるため、高次元観測に対して限られた表現性を持つ。
以前は、これは潜在変数や自己回帰的可能性を使って扱うことができたが、難解なトレーニングと二次的な複雑さを犠牲にしていた。
そこで本研究では,通常の最大推定値の他に,逆トレーニング方式によるCNPの校正を提案する。
具体的には、エネルギーベースモデル(EBM)をノイズコントラスト推定で訓練し、ESMを用いてCNP世代からの真の観測を識別する。
このようにして、CNPは、固定形式の可能性に関して単に最適化するのではなく、ESMを騙すために、基底的真実に近い予測を生成する必要がある。
生成関数再構成から下流回帰および分類タスクに至るまで、本手法は主流のCNPメンバーに適合し、制約のないガウス確率が定義される場合に有効であることを示す。
関連論文リスト
- Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳(メタデータ) (2023-10-20T10:20:45Z) - Autoregressive Conditional Neural Processes [20.587835119831595]
条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。
それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。
CNPは、予測において依存関係をモデル化できない。
我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
論文 参考訳(メタデータ) (2023-03-25T13:34:12Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic
Representation [62.017505017414564]
教師なしの方法でニューラルソルバを訓練することが不可欠である。
既存の手法は妥当な精度を達成し、重要な計算課題と不正確なシミュレーションをもたらす。
PDEの確率的表現を用いて教師なしニューラルソルバを訓練するためのモンテカルロPDEソルバを提案する。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳(メタデータ) (2023-02-10T08:05:19Z) - Evidential Conditional Neural Processes [7.257751371276488]
条件付きニューラルプロセス(CNP)モデルは、数ショット問題に対処するための有望な方向を提供する。
現在のCNPモデルは、ターゲットデータポイント上での予測に対する全体的な不確実性のみをキャプチャする。
本稿では,CNPが使用する標準ガウス分布を置き換えたECNP(Evidential Conditional Neural Processs)を提案する。
論文 参考訳(メタデータ) (2022-11-30T21:50:55Z) - Sample-Efficient Reinforcement Learning for POMDPs with Linear Function
Approximations [130.66193083412716]
本稿では,関数近似と部分観測可能性の緊張に対処する。
最適ポリシーと値関数は有限メモリヒルベルト・ベルマン作用素の列によって特徴づけられることを示す。
本稿では、カーネル空間(RKHS)の埋め込みを再現することで、これらの演算子の楽観的な推定値を構成するRLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - Robust and Adaptive Temporal-Difference Learning Using An Ensemble of
Gaussian Processes [70.80716221080118]
本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。
OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。
1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
論文 参考訳(メタデータ) (2021-12-01T23:15:09Z) - The Gaussian Neural Process [39.81327564209865]
条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。
本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
論文 参考訳(メタデータ) (2021-01-10T19:15:27Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳(メタデータ) (2020-11-05T08:04:34Z) - Meta-Learning Stationary Stochastic Process Prediction with
Convolutional Neural Processes [32.02612871707347]
提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。
本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
論文 参考訳(メタデータ) (2020-07-02T18:25:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。