論文の概要: Martingale Posterior Neural Processes

• arxiv url: http://arxiv.org/abs/2304.09431v1
• Date: Wed, 19 Apr 2023 05:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 15:29:50.517022
• Title: Martingale Posterior Neural Processes
• Title（参考訳）: martingale後発神経過程
• Authors: Hyungi Lee, Eunggu Yun, Giung Nam, Edwin Fong, Juho Lee
• Abstract要約: ニューラルネットワーク(NP)は、データストリームが与えられたニューラルネットワークで暗黙的に定義されたプロセスを推定する。 我々は最近ベイズ推論の代替として開発されたマーチンゲール後部に基づいて異なるアプローチをとる。 生成した将来のデータの不確実性は、暗黙的に定義されたベイズ後部の不確実性に対応していることを示す。
• 参考スコア（独自算出の注目度）: 14.913697718688931
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A Neural Process (NP) estimates a stochastic process implicitly defined with neural networks given a stream of data, rather than pre-specifying priors already known, such as Gaussian processes. An ideal NP would learn everything from data without any inductive biases, but in practice, we often restrict the class of stochastic processes for the ease of estimation. One such restriction is the use of a finite-dimensional latent variable accounting for the uncertainty in the functions drawn from NPs. Some recent works show that this can be improved with more "data-driven" source of uncertainty such as bootstrapping. In this work, we take a different approach based on the martingale posterior, a recently developed alternative to Bayesian inference. For the martingale posterior, instead of specifying prior-likelihood pairs, a predictive distribution for future data is specified. Under specific conditions on the predictive distribution, it can be shown that the uncertainty in the generated future data actually corresponds to the uncertainty of the implicitly defined Bayesian posteriors. Based on this result, instead of assuming any form of the latent variables, we equip a NP with a predictive distribution implicitly defined with neural networks and use the corresponding martingale posteriors as the source of uncertainty. The resulting model, which we name as Martingale Posterior Neural Process (MPNP), is demonstrated to outperform baselines on various tasks.
• Abstract（参考訳）: ニューラル・プロセス(NP)は、ガウス・プロセスのような既に知られている事前指定よりも、データストリームが与えられたニューラルネットワークで暗黙的に定義された確率過程を推定する。 理想的なNPは、誘導バイアスのないデータからすべてを学習するが、実際には、推定を容易にするために確率過程のクラスを制限することが多い。 そのような制限の一つは、NPから引き出された関数の不確かさを考慮に入れた有限次元潜在変数を使うことである。 最近の研究によって、ブートストラップのような不確実性のより"データ駆動"なソースで改善できることが示された。 本研究では,最近開発されたベイズ推定の代替法であるmartingale posteriorに基づいて,異なるアプローチをとる。 martingale後方では、事前の類似ペアを指定する代わりに、将来のデータの予測分布を指定する。 予測分布の特定の条件下では、生成された将来のデータにおける不確実性は、暗黙的に定義されたベイズ後方の不確実性に対応することが示されている。 この結果に基づき、潜伏変数の任意の形式を仮定する代わりに、ニューラルネットワークで暗黙的に定義された予測分布をNPに装備し、それに対応するマーチンゲール後部を不確実性の原因とする。 結果,Martingale Posterior Neural Process (MPNP) は,様々なタスクにおいて,ベースラインよりも優れていることを示した。

関連論文リスト

• Rényi Neural Processes [14.11793373584558]
  本稿では,事前の誤特定の影響を改善するためにR'enyi Neural Processs (RNP)を提案する。 密度比 $fracpq$ は (1-$alpha$) の差分勾配で後方に関してスケールする。 実験の結果,最先端のNPファミリーモデルよりも一貫したログライクな改善が見られた。
  論文  参考訳（メタデータ） (2024-05-25T00:14:55Z)
• Posterior Uncertainty Quantification in Neural Networks using Data Augmentation [3.9860047080844807]
  深層アンサンブルは,既存の観測結果にのみ,将来のデータがサポートされることを前提として,基本的に不特定モデルクラスであることを示す。 一般的なデータ拡張手法を用いて,より現実的な予測分布を構築する手法であるMixupMPを提案する。 実験により,MixupMPは様々な画像分類データセットにおいて,優れた予測性能と不確かさの定量化を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-18T17:46:07Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Looking at the posterior: accuracy and uncertainty of neural-network predictions [0.0]
  予測精度はてんかんとアレタリック不確実性の両方に依存している。 本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2022-11-26T16:13:32Z)
• Federated Learning with Uncertainty via Distilled Predictive Distributions [14.828509220023387]
  筆者らは,各ラウンドにおいて,各クライアントがパラメータや後部予測分布(PPD)だけでなく,後部分布を推定する不確実性を伴うフェデレーション学習の枠組みを提案する。 連邦学習における最近のベイズ的アプローチとは異なり、我々のアプローチでは各クライアントからサーバにパラメータの後方分布全体を送信する必要はない。 我々の手法は、クライアントの後部分布の形式やPDの形式など、制限的な仮定を一切行いません。
  論文  参考訳（メタデータ） (2022-06-15T14:24:59Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Bootstrapping Neural Processes [114.97111530885093]
  ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。 NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。 本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:23:34Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。