Fugu-MT 論文翻訳(概要): Amortized Bayesian Multilevel Models

論文の概要: Amortized Bayesian Multilevel Models

arxiv url: http://arxiv.org/abs/2408.13230v1
Date: Fri, 23 Aug 2024 17:11:04 GMT
ステータス: 処理完了
システム内更新日: 2024-08-26 14:20:44.771219
Title: Amortized Bayesian Multilevel Models
Title（参考訳）: Amortized Bayesian Multilevel Models
Authors: Daniel Habermann, Marvin Schmitt, Lars Kühmichel, Andreas Bulling, Stefan T. Radev, Paul-Christian Bürkner,
Abstract要約: マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。 MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。我々は、マルチレベルモデルの確率的分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対する後続の即時推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。
参考スコア（独自算出の注目度）: 9.831471158899644
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Multilevel models (MLMs) are a central building block of the Bayesian workflow. They enable joint, interpretable modeling of data across hierarchical levels and provide a fully probabilistic quantification of uncertainty. Despite their well-recognized advantages, MLMs pose significant computational challenges, often rendering their estimation and evaluation intractable within reasonable time constraints. Recent advances in simulation-based inference offer promising solutions for addressing complex probabilistic models using deep generative networks. However, the utility and reliability of deep learning methods for estimating Bayesian MLMs remains largely unexplored, especially when compared with gold-standard samplers. To this end, we explore a family of neural network architectures that leverage the probabilistic factorization of multilevel models to facilitate efficient neural network training and subsequent near-instant posterior inference on unseen data sets. We test our method on several real-world case studies and provide comprehensive comparisons to Stan as a gold-standard method where possible. Finally, we provide an open-source implementation of our methods to stimulate further research in the nascent field of amortized Bayesian inference.
Abstract（参考訳）: マルチレベルモデル(MLM)はベイズワークフローの中心的なビルディングブロックである。それらは階層的なレベルのデータの共同で解釈可能なモデリングを可能にし、不確実性を完全に確率論的に定量化する。それらの利点はよく認識されているが、MLMは重要な計算上の課題を生じさせ、しばしばその推定と評価は合理的な時間制約の中で難解である。シミュレーションに基づく推論の最近の進歩は、深層生成ネットワークを用いた複雑な確率モデルに対処するための有望な解決策を提供する。しかし,ベイジアンMLMを推定する深層学習手法の有用性と信頼性は,特に金標準試料との比較では明らかにされていない。この目的のために、我々は、マルチレベルモデルの確率的因数分解を利用して、効率的なニューラルネットワークトレーニングと、未知のデータセットに対するその後のほぼインスタントな後部推論を容易にするニューラルネットワークアーキテクチャのファミリーを探索する。実世界のケーススタディにおいて本手法を試行し,金本位法としてStanとの比較を行った。最後に,この手法をオープンソースで実装し,アモータイズされたベイズ推論の初期段階におけるさらなる研究を刺激する。

関連論文リスト

The Misclassification Likelihood Matrix: Some Classes Are More Likely To Be Misclassified Than Others [1.654278807602897]
本研究では、分散シフト下でのニューラルネットワーク予測の信頼性を定量化するための新しいツールとして、MLM(Misclassification Likelihood Matrix)を紹介した。この研究の意味は、画像の分類を超えて、自動運転車などの自動運転システムで進行中の応用に及んでいる。
論文参考訳（メタデータ） (2024-07-10T16:43:14Z)
On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。本研究は,専門家の選択に重要な意味を持つ。
論文参考訳（メタデータ） (2024-02-05T12:31:18Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文参考訳（メタデータ） (2023-09-06T14:02:33Z)
Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文参考訳（メタデータ） (2023-06-21T14:36:03Z)
Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。また、局所的な一貫性の結果に基づいた理論的保証も提供する。この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文参考訳（メタデータ） (2022-11-17T15:48:06Z)
BayesCap: Bayesian Identity Cap for Calibrated Uncertainty in Frozen Neural Networks [50.15201777970128]
本研究では,凍結モデルに対するベイズIDマッピングを学習し,不確実性の推定を可能にするBayesCapを提案する。 BayesCapは、元のデータセットのごく一部でトレーニングできる、メモリ効率のよいメソッドである。本稿では,多種多様なアーキテクチャを用いた多種多様なタスクに対する本手法の有効性を示す。
論文参考訳（メタデータ） (2022-07-14T12:50:09Z)
FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
論文参考訳（メタデータ） (2022-05-31T18:33:15Z)
Impact of Parameter Sparsity on Stochastic Gradient MCMC Methods for Bayesian Deep Learning [15.521736934292354]
本稿では,分散ネットワーク構造がストレージコストと推論実行時間とを柔軟にトレードオフする可能性について検討する。ランダムに選択されたサブストラクチャのクラスは、最先端の反復的プルーニング法から派生したサブストラクチャと同様に実行可能であることを示す。
論文参考訳（メタデータ） (2022-02-08T10:34:05Z)
Amortized Bayesian Inference for Models of Cognition [0.1529342790344802]
専門的なニューラルネットワークアーキテクチャを用いたシミュレーションベース推論の最近の進歩は、ベイズ近似計算の多くの過去の問題を回避している。本稿では,アモータイズされたベイズパラメータの推定とモデル比較について概説する。
論文参考訳（メタデータ） (2020-05-08T08:12:15Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。