論文の概要: Bayesian neural network priors for edge-preserving inversion

• arxiv url: http://arxiv.org/abs/2112.10663v1
• Date: Mon, 20 Dec 2021 16:39:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 18:23:59.048153
• Title: Bayesian neural network priors for edge-preserving inversion
• Title（参考訳）: エッジ保存インバージョンのためのベイズニューラルネットワーク
• Authors: Chen Li, Matthew Dunlop, Georg Stadler
• Abstract要約: 重み付きニューラルネットワークの出力に基づく事前分布のクラスを導入する。 ネットワーク幅が有限である場合でも,そのような先行する標本は不連続な性質が望ましいことを理論的に示す。
• 参考スコア（独自算出の注目度）: 3.2046720177804646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider Bayesian inverse problems wherein the unknown state is assumed to be a function with discontinuous structure a priori. A class of prior distributions based on the output of neural networks with heavy-tailed weights is introduced, motivated by existing results concerning the infinite-width limit of such networks. We show theoretically that samples from such priors have desirable discontinuous-like properties even when the network width is finite, making them appropriate for edge-preserving inversion. Numerically we consider deconvolution problems defined on one- and two-dimensional spatial domains to illustrate the effectiveness of these priors; MAP estimation, dimension-robust MCMC sampling and ensemble-based approximations are utilized to probe the posterior distribution. The accuracy of point estimates is shown to exceed those obtained from non-heavy tailed priors, and uncertainty estimates are shown to provide more useful qualitative information.
• Abstract（参考訳）: 未知状態が不連続な構造 a を持つ函数であると仮定するベイズ逆問題を考える。 重み付き重み付きニューラルネットワークの出力に基づく先行分布のクラスを導入し、そのようなネットワークの無限幅限界に関する既存の結果に動機づけられた。 このような事前のサンプルは,ネットワーク幅が有限であっても不連続的性質が望ましいため,エッジ保存逆解析に適していることを示す。 数値的に1次元空間領域と2次元空間領域で定義されるデコンボリューション問題を考察し, MAP推定, 次元ロバストMCMCサンプリング, アンサンブルに基づく近似を用いて後部分布を探索する。 点推定の精度は、重大でない尾の前の値よりも高く、不確実性推定はより有用な定性情報を提供することを示す。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Bayesian imaging inverse problem with SA-Roundtrip prior via HMC-pCN sampler [3.717366858126521]
  事前分布の選択は、利用可能な事前測定の重要表現学習から学習される。 SA-Roundtripは、制御されたサンプリング生成を可能にし、データの本質的な次元を識別するために、新しい深層生成前のSA-Roundtripを導入している。
  論文  参考訳（メタデータ） (2023-10-24T17:16:45Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Precise characterization of the prior predictive distribution of deep ReLU networks [45.46732383818331]
  ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-06-11T21:21:52Z)
• Dimension-robust Function Space MCMC With Neural Network Priors [0.0]
  本稿では、関数の領域の次元においてより有利にスケールする関数空間に関する新しい先例を紹介する。 その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。 我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。
  論文  参考訳（メタデータ） (2020-12-20T14:52:57Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)
• Uncertainty Quantification in Deep Residual Neural Networks [0.0]
  不確かさの定量化は、ディープラーニングにおいて重要で困難な問題である。 以前の方法は、現代のディープアーキテクチャやバッチサイズに敏感なバッチ正規化には存在しないドロップアウト層に依存していた。 本研究では,ニューラルネットワークの後方重みに対する変動近似として,深度を用いた残留ネットワークのトレーニングが可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-09T16:05:37Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。