論文の概要: Adversarially Contrastive Estimation of Conditional Neural Processes

• arxiv url: http://arxiv.org/abs/2303.13004v1
• Date: Thu, 23 Mar 2023 02:58:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-24 15:50:12.691305
• Title: Adversarially Contrastive Estimation of Conditional Neural Processes
• Title（参考訳）: 条件付き神経過程の相反的推定
• Authors: Zesheng Ye, Jing Du, Lina Yao
• Abstract要約: 条件付きニューラルプロセス(CNP)は関数上の分布を定式化し、正確な条件付き確率で関数観測を生成する。 我々は,正規最大推定値以外の逆トレーニング方式でCNPを校正する手法を提案する。 生成関数再構成から下流回帰および分類タスクに至るまで,本手法が主流のCNPメンバーに適合することが実証された。
• 参考スコア（独自算出の注目度）: 39.77675002999259
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Conditional Neural Processes~(CNPs) formulate distributions over functions and generate function observations with exact conditional likelihoods. CNPs, however, have limited expressivity for high-dimensional observations, since their predictive distribution is factorized into a product of unconstrained (typically) Gaussian outputs. Previously, this could be handled using latent variables or autoregressive likelihood, but at the expense of intractable training and quadratically increased complexity. Instead, we propose calibrating CNPs with an adversarial training scheme besides regular maximum likelihood estimates. Specifically, we train an energy-based model (EBM) with noise contrastive estimation, which enforces EBM to identify true observations from the generations of CNP. In this way, CNP must generate predictions closer to the ground-truth to fool EBM, instead of merely optimizing with respect to the fixed-form likelihood. From generative function reconstruction to downstream regression and classification tasks, we demonstrate that our method fits mainstream CNP members, showing effectiveness when unconstrained Gaussian likelihood is defined, requiring minimal computation overhead while preserving foundation properties of CNPs.
• Abstract（参考訳）: 条件付きニューラルプロセス~(CNP)は関数上の分布を定式化し、正確な条件付き確率で関数観測を生成する。 しかし、CNPは、その予測分布が非制約(典型的には)ガウス出力の積に分解されるため、高次元観測に対して限られた表現性を持つ。 以前は、これは潜在変数や自己回帰的可能性を使って扱うことができたが、難解なトレーニングと二次的な複雑さを犠牲にしていた。 そこで本研究では,通常の最大推定値の他に,逆トレーニング方式によるCNPの校正を提案する。 具体的には、エネルギーベースモデル(EBM)をノイズコントラスト推定で訓練し、ESMを用いてCNP世代からの真の観測を識別する。 このようにして、CNPは、固定形式の可能性に関して単に最適化するのではなく、ESMを騙すために、基底的真実に近い予測を生成する必要がある。 生成関数再構成から下流回帰および分類タスクに至るまで、本手法は主流のCNPメンバーに適合し、制約のないガウス確率が定義される場合に有効であることを示す。

関連論文リスト

• Dynamic Negative Guidance of Diffusion Models [13.873685216429868]
  負のプロンプティング(NP)は、一定の指導尺度の仮定によって制限されていることを示す。 我々は、ほぼ最適時間とガイダンスの状態依存変調に依存する、Dynamic Negative Guidanceと呼ばれる原則的手法を導出する。 以上の結果から,DNGを安定拡散法を用いてNPよりも正確で侵襲的なガイダンスを得ることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-18T12:02:21Z)
• Rényi Neural Processes [14.11793373584558]
  本稿では,事前の誤特定の影響を改善するためにR'enyi Neural Processs (RNP)を提案する。 密度比 $fracpq$ は (1-$alpha$) の差分勾配で後方に関してスケールする。 実験の結果,最先端のNPファミリーモデルよりも一貫したログライクな改善が見られた。
  論文  参考訳（メタデータ） (2024-05-25T00:14:55Z)
• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Autoregressive Conditional Neural Processes [20.587835119831595]
  条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。 それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。 我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
  論文  参考訳（メタデータ） (2023-03-25T13:34:12Z)
• Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic Representation [59.45669299295436]
  教師なしニューラルソルバのトレーニングのためのモンテカルロPDEソルバを提案する。 我々は、マクロ現象をランダム粒子のアンサンブルとみなすPDEの確率的表現を用いる。 対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
  論文  参考訳（メタデータ） (2023-02-10T08:05:19Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。