論文の概要: Rényi Neural Processes

• arxiv url: http://arxiv.org/abs/2405.15991v1
• Date: Sat, 25 May 2024 00:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 01:39:22.744650
• Title: Rényi Neural Processes
• Title（参考訳）: Rényi ニューラルプロセス
• Authors: Xuesong Wang, He Zhao, Edwin V. Bonilla,
• Abstract要約: R'enyi Neural Processes (RNP) を提案する。 標準KL偏差を、後部と近似された前部のR'enyi偏差に置き換えることで、不特定前者の影響を改善する。 実験の結果,既存のNPファミリーではログライクな改善が見られた。
• 参考スコア（独自算出の注目度）: 14.11793373584558
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Processes (NPs) are variational frameworks that aim to represent stochastic processes with deep neural networks. Despite their obvious benefits in uncertainty estimation for complex distributions via data-driven priors, NPs enforce network parameter sharing between the conditional prior and posterior distributions, thereby risking introducing a misspecified prior. We hereby propose R\'enyi Neural Processes (RNP) to relax the influence of the misspecified prior and optimize a tighter bound of the marginal likelihood. More specifically, by replacing the standard KL divergence with the R\'enyi divergence between the posterior and the approximated prior, we ameliorate the impact of the misspecified prior via a parameter {\alpha} so that the resulting posterior focuses more on tail samples and reduce density on overconfident regions. Our experiments showed log-likelihood improvements on several existing NP families. We demonstrated the superior performance of our approach on various benchmarks including regression and image inpainting tasks. We also validate the effectiveness of RNPs on real-world tabular regression problems.
• Abstract（参考訳）: ニューラル・プロセス(NP)は、ディープ・ニューラル・ネットワークで確率的プロセスを表現することを目的とした変分フレームワークである。 データ駆動型事前分布による複素分布の不確実性推定における明らかな利点にもかかわらず、NPは条件付き事前分布と後続分布のネットワークパラメータ共有を強制し、不特定な事前分布を導入するリスクを負う。 そこで我々はR'enyi Neural Processes (RNP)を提案する。 より具体的には、標準KL偏差を後部と近似された前部のR'enyi偏差に置き換えることで、パラメータ {\alpha} を介して不特定前の影響を改善し、結果として得られる後部が尾部サンプルにもっと焦点を合わせ、過信領域の密度を減少させる。 実験の結果,既存のNPファミリーではログライクな改善が見られた。 回帰や画像のインペインティングなど,様々なベンチマークにおいて,提案手法の優れた性能を実証した。 また,実世界の表層回帰問題に対するRNPの有効性を検証した。

関連論文リスト

• Reparameterization invariance in approximate Bayesian inference [32.88960624085645]
  線形化の成功を説明するために, 線形化の新たな幾何学的視点を構築した。 これらのreパラメータ化不変性は、元のニューラルネットワーク予測に拡張可能であることを実証する。
  論文  参考訳（メタデータ） (2024-06-05T14:49:15Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Domain Generalization Guided by Gradient Signal to Noise Ratio of Parameters [69.24377241408851]
  ソースドメインへのオーバーフィッティングは、ディープニューラルネットワークの勾配に基づくトレーニングにおいて一般的な問題である。 本稿では,ネットワークパラメータの勾配-信号-雑音比(GSNR)を選択することを提案する。
  論文  参考訳（メタデータ） (2023-10-11T10:21:34Z)
• Neural Diffusion Processes [12.744250155946503]
  そこで我々は, 関数上の豊富な分布から, 有限限界を通してサンプルを学習するニューラル拡散過程 (NDP) を提案する。 我々はNDPが真のベイズ後部に近い機能的分布を捉えることを実証的に示す。 NDPは、回帰、暗黙のハイパーマージン化、非ガウスの後方予測、グローバル最適化など、様々な下流タスクを可能にする。
  論文  参考訳（メタデータ） (2022-06-08T16:13:04Z)
• How do noise tails impact on deep ReLU networks? [2.5889847253961418]
  非パラメトリック回帰関数のクラスにおける最適収束速度が p, 滑らか度, 内在次元に依存することを示す。 我々はまた、深部ReLUニューラルネットワークの近似理論に関する新しい結果にも貢献する。
  論文  参考訳（メタデータ） (2022-03-20T00:27:32Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes [55.62520135103578]
  重み付き変分推論を用いたDGP(Deep Gaussian Processs)の訓練で用いられる勾配推定は,信号-雑音比(SNR)問題の影響を受けやすいことを示す。 DGPモデルの予測性能が一貫した改善につながることを示す。
  論文  参考訳（メタデータ） (2020-11-01T14:38:02Z)
• NP-PROV: Neural Processes with Position-Relevant-Only Variances [113.20013269514327]
  位置関連性オンリーバリアース(NP-PROV)を有するニューラルプロセスと呼ばれる新しいメンバーを提案する。 NP-PROVは、その位置の関数値に関係なく、コンテキストポイントに近いターゲットポイントが小さな不確実性を持つという仮説を立てている。 我々は, NP-PROVが有界分散を維持しつつ, 最先端の可能性を実現することができることを示す。
  論文  参考訳（メタデータ） (2020-06-15T06:11:21Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Continual Learning with Extended Kronecker-factored Approximate Curvature [33.44290346786496]
  本稿では,バッチ正規化層を含むニューラルネットワークの連続学習のための2次ペナルティ手法を提案する。 K-FAC(Kronecker-factored approximate curvature)はニューラルネットワークのヘシアンを実際に計算するために広く用いられている。 我々は、K-FAC法を拡張し、サンプル間関係を考慮し、ディープニューラルネットワークのヘシアンを適切に近似することができる。
  論文  参考訳（メタデータ） (2020-04-16T07:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。