論文の概要: Bayesian neural networks and dimensionality reduction

• arxiv url: http://arxiv.org/abs/2008.08044v2
• Date: Wed, 19 Aug 2020 15:47:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:11:55.808704
• Title: Bayesian neural networks and dimensionality reduction
• Title（参考訳）: ベイズ型ニューラルネットワークと次元性低減
• Authors: Deborshee Sen and Theodore Papamarkou and David Dunson
• Abstract要約: そのような問題に対するモデルに基づくアプローチのクラスは、未知の非線形回帰関数における潜在変数を含む。 VAEは、近似を用いて計算をトラクタブルにする人工知能ニューラルネットワーク(ANN)である。 潜在変数を持つANNモデルにおいて,マルコフ連鎖モンテカルロサンプリングアルゴリズムをベイズ推定のために展開する。
• 参考スコア（独自算出の注目度）: 4.039245878626346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In conducting non-linear dimensionality reduction and feature learning, it is common to suppose that the data lie near a lower-dimensional manifold. A class of model-based approaches for such problems includes latent variables in an unknown non-linear regression function; this includes Gaussian process latent variable models and variational auto-encoders (VAEs) as special cases. VAEs are artificial neural networks (ANNs) that employ approximations to make computation tractable; however, current implementations lack adequate uncertainty quantification in estimating the parameters, predictive densities, and lower-dimensional subspace, and can be unstable and lack interpretability in practice. We attempt to solve these problems by deploying Markov chain Monte Carlo sampling algorithms (MCMC) for Bayesian inference in ANN models with latent variables. We address issues of identifiability by imposing constraints on the ANN parameters as well as by using anchor points. This is demonstrated on simulated and real data examples. We find that current MCMC sampling schemes face fundamental challenges in neural networks involving latent variables, motivating new research directions.
• Abstract（参考訳）: 非線型次元減少と特徴学習を行う際、データは下次元多様体の近くにあると仮定することが一般的である。 そのような問題に対するモデルベースアプローチのクラスには、未知の非線形回帰関数における潜在変数が含まれ、ガウス過程潜在変数モデルと変分オートエンコーダ(vaes)を特別なケースとして含む。 vaesは、計算を扱いやすくするために近似を用いる人工ニューラルネットワーク(anns)であるが、現在の実装では、パラメータ、予測密度、低次元部分空間の推定において十分な不確かさの定量化が欠如しており、不安定であり、実際には解釈可能性に欠ける可能性がある。 我々はマルコフ連鎖モンテカルロサンプリングアルゴリズム(MCMC)を,潜伏変数を持つANNモデルにおけるベイズ推定のために配置することで,これらの問題を解決する。 我々は、ANNパラメータに制約を課し、アンカーポイントを使用することにより、識別可能性の問題に対処する。 これはシミュレーションおよび実データ例で実証される。 現在のMCMCサンプリングスキームは、潜伏変数を含むニューラルネットワークの基本的な課題に直面し、新しい研究方向性を動機付けている。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
  深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。 ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。 本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-04-03T13:13:19Z)
• Posterior Collapse and Latent Variable Non-identifiability [54.842098835445]
  柔軟性を犠牲にすることなく識別性を強制する深層生成モデルである,潜時同定可能な変分オートエンコーダのクラスを提案する。 合成および実データ全体にわたって、潜在識別可能な変分オートエンコーダは、後方崩壊を緩和し、データの有意義な表現を提供する既存の方法より優れている。
  論文  参考訳（メタデータ） (2023-01-02T06:16:56Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Single Model Uncertainty Estimation via Stochastic Data Centering [39.71621297447397]
  私たちは、ディープニューラルネットワークの不確実性を見積もることに興味があります。 我々は、一定のバイアスによってシフトしたデータセットに基づいてトレーニングされた、同じ重み付きニューラルネットワークのアンサンブルが、わずかに一貫性のないトレーニングモデルを引き起こすという驚くべき新しい発見を提示する。 我々は、$Delta-$UQの不確実性推定が、様々なベンチマークにおける現在の多くの手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-14T23:54:54Z)
• Learning Invariant Weights in Neural Networks [16.127299898156203]
  機械学習でよく使われるモデルの多くは、データ内の特定の対称性を尊重することを制約している。 本稿では,ニューラルネットワークにおける不変性学習の限界値の最小化により,このアプローチに準ずる重み空間を提案する。
  論文  参考訳（メタデータ） (2022-02-25T00:17:09Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Parameter Estimation with Dense and Convolutional Neural Networks Applied to the FitzHugh-Nagumo ODE [0.0]
  密度層と畳み込み層を用いた深層ニューラルネットワークを逆問題として提示し,Fitz-Nagumoモデルのパラメータを推定する。 深層ニューラルネットワークは、動的モデルやプロセスにおけるパラメータを推定する可能性があり、フレームワークのパラメータを正確に予測することができることを実証する。
  論文  参考訳（メタデータ） (2020-12-12T01:20:42Z)
• Sparsely constrained neural networks for model discovery of PDEs [0.0]
  本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。 異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
  論文  参考訳（メタデータ） (2020-11-09T11:02:40Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。