論文の概要: Rényi Neural Processes

• arxiv url: http://arxiv.org/abs/2405.15991v1
• Date: Sat, 25 May 2024 00:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:39:22.744650
• Title: Rényi Neural Processes
• Title（参考訳）: Rényi ニューラルプロセス
• Authors: Xuesong Wang, He Zhao, Edwin V. Bonilla,
• Abstract要約: R'enyi Neural Processes (RNP) を提案する。 標準KL偏差を、後部と近似された前部のR'enyi偏差に置き換えることで、不特定前者の影響を改善する。 実験の結果,既存のNPファミリーではログライクな改善が見られた。
• 参考スコア（独自算出の注目度）: 14.11793373584558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Processes (NPs) are variational frameworks that aim to represent stochastic processes with deep neural networks. Despite their obvious benefits in uncertainty estimation for complex distributions via data-driven priors, NPs enforce network parameter sharing between the conditional prior and posterior distributions, thereby risking introducing a misspecified prior. We hereby propose R\'enyi Neural Processes (RNP) to relax the influence of the misspecified prior and optimize a tighter bound of the marginal likelihood. More specifically, by replacing the standard KL divergence with the R\'enyi divergence between the posterior and the approximated prior, we ameliorate the impact of the misspecified prior via a parameter {\alpha} so that the resulting posterior focuses more on tail samples and reduce density on overconfident regions. Our experiments showed log-likelihood improvements on several existing NP families. We demonstrated the superior performance of our approach on various benchmarks including regression and image inpainting tasks. We also validate the effectiveness of RNPs on real-world tabular regression problems.
• Abstract（参考訳）: ニューラル・プロセス(NP)は、ディープ・ニューラル・ネットワークで確率的プロセスを表現することを目的とした変分フレームワークである。 データ駆動型事前分布による複素分布の不確実性推定における明らかな利点にもかかわらず、NPは条件付き事前分布と後続分布のネットワークパラメータ共有を強制し、不特定な事前分布を導入するリスクを負う。 そこで我々はR'enyi Neural Processes (RNP)を提案する。 より具体的には、標準KL偏差を後部と近似された前部のR'enyi偏差に置き換えることで、パラメータ {\alpha} を介して不特定前の影響を改善し、結果として得られる後部が尾部サンプルにもっと焦点を合わせ、過信領域の密度を減少させる。 実験の結果,既存のNPファミリーではログライクな改善が見られた。 回帰や画像のインペインティングなど,様々なベンチマークにおいて,提案手法の優れた性能を実証した。 また,実世界の表層回帰問題に対するRNPの有効性を検証した。

関連論文リスト

• Inference at the data's edge: Gaussian processes for modeling and inference under model-dependency, poor overlap, and extrapolation [0.0]
  ガウス過程 (GP) はフレキシブルな非線形回帰法である。 これは、予測された(非現実的な)値に対する不確実性を扱うための原則化されたアプローチを提供する。 これは外挿または弱い重なり合いの条件下では特に有用である。
  論文  参考訳（メタデータ） (2024-07-15T05:09:50Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• SPDE priors for uncertainty quantification of end-to-end neural data assimilation schemes [4.213142548113385]
  ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。 本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。 我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
  論文  参考訳（メタデータ） (2024-02-02T19:18:12Z)
• Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization [59.758009422067]
  モデルベース強化学習における累積報酬に対する不確実性を定量化する問題を考察する。 我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式(UBE)を提案する。 本稿では,リスク・サーキングとリスク・アバース・ポリシー最適化のいずれにも適用可能な汎用ポリシー最適化アルゴリズムQ-Uncertainty Soft Actor-Critic (QU-SAC)を導入する。
  論文  参考訳（メタデータ） (2023-12-07T15:55:58Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Improving Robustness and Uncertainty Modelling in Neural Ordinary Differential Equations [0.2538209532048866]
  本研究では,NODE における不確実性をモデル化するための新しい手法を提案する。 また、各データポイントが終末時間に異なる後続分布を持つことができる適応遅延時間NODE(ALT-NODE)を提案する。 本研究では,合成画像と実世界の画像分類データを用いた実験により,不確実性とロバスト性をモデル化する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-12-23T16:56:10Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Reducing the Amortization Gap in Variational Autoencoders: A Bayesian Random Function Approach [38.45568741734893]
  GPモデルの推論は、セミアモタイズ法よりもはるかに高速な1つのフィードフォワードパスによって行われる。 提案手法は,複数のベンチマークデータセットの最先端データよりも高い確率でテストデータが得られることを示す。
  論文  参考訳（メタデータ） (2021-02-05T13:01:12Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。