論文の概要: Bayes without Underfitting: Fully Correlated Deep Learning Posteriors via Alternating Projections

• arxiv url: http://arxiv.org/abs/2410.16901v1
• Date: Tue, 22 Oct 2024 11:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:15.993422
• Title: Bayes without Underfitting: Fully Correlated Deep Learning Posteriors via Alternating Projections
• Title（参考訳）: 不適合なベイズ:交互投影による完全関連深層学習支援
• Authors: Marco Miani, Hrittik Roy, Søren Hauberg,
• Abstract要約: ベイジアン深層学習は、ベイジアン予測が単純な点推定よりも正確でないように、不適合であることが多い。 我々はベイズ近似を null 空間内に構築することを提案し、したがってベイズ予測が不適切でないことを保証した。 実験的な評価は、アプローチが2800万のパラメータを持つ視覚変換器を含む大きなモデルにスケールすることを示しています。
• 参考スコア（独自算出の注目度）: 11.893371164199312
• License:
• Abstract: Bayesian deep learning all too often underfits so that the Bayesian prediction is less accurate than a simple point estimate. Uncertainty quantification then comes at the cost of accuracy. For linearized models, the null space of the generalized Gauss-Newton matrix corresponds to parameters that preserve the training predictions of the point estimate. We propose to build Bayesian approximations in this null space, thereby guaranteeing that the Bayesian predictive does not underfit. We suggest a matrix-free algorithm for projecting onto this null space, which scales linearly with the number of parameters and quadratically with the number of output dimensions. We further propose an approximation that only scales linearly with parameters to make the method applicable to generative models. An extensive empirical evaluation shows that the approach scales to large models, including vision transformers with 28 million parameters.
• Abstract（参考訳）: ベイジアン深層学習は、ベイジアン予測が単純な点推定よりも正確でないように、不適合であることが多い。 不確かさの定量化は、正確さの犠牲になる。 線型化モデルの場合、一般化されたガウス・ニュートン行列のヌル空間は、点推定のトレーニング予測を保存するパラメータに対応する。 我々は、この零空間にベイズ近似を構築することを提案し、したがってベイズ予測が不適切でないことを保証した。 このヌル空間に射影する行列のないアルゴリズムを提案し、パラメータの個数で線形にスケールし、出力次元の個数で二次的にスケールする。 さらに,パラメータを線形に拡張するだけで生成モデルに適用できる近似法を提案する。 広範な実験的な評価は、アプローチが2800万のパラメータを持つ視覚変換器を含む大きなモデルにスケールすることを示しています。

関連論文リスト

• A Bayesian Approach Toward Robust Multidimensional Ellipsoid-Specific Fitting [0.0]
  本研究は, ノイズおよび外周波の汚染における散乱データに多次元楕円体を適合させる, 新規で効果的な方法を提案する。 楕円体領域内でのプリミティブパラメータの探索を制約するために、均一な事前分布を組み込む。 本研究では, 顕微鏡細胞計数, 3次元再構成, 幾何学的形状近似, 磁力計の校正タスクなど, 幅広い応用に応用する。
  論文  参考訳（メタデータ） (2024-07-27T14:31:51Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• A variational Bayes approach to debiased inference for low-dimensional parameters in high-dimensional linear regression [2.7498981662768536]
  疎線形回帰における統計的推測のためのスケーラブルな変分ベイズ法を提案する。 我々のアプローチは、平均場近似をニュアンス座標に割り当てることに依存している。 これは前処理のステップに過ぎず、平均場変動ベイズの計算上の優位性を保っている。
  論文  参考訳（メタデータ） (2024-06-18T14:27:44Z)
• Hessian-Free Laplace in Bayesian Deep Learning [44.16006844888796]
  Hessian-free Laplace (HFL)近似は、その分散を推定するために、ログ後部とネットワーク予測の両方の曲率を使用する。 ベイズ深層学習におけるLAの標準的な仮定の下では、HFLはLAと同じ分散を目標とし、事前学習されたネットワークで効率よく再生可能であることを示す。
  論文  参考訳（メタデータ） (2024-03-15T20:47:39Z)
• A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression [8.345523969593492]
  高次元線形回帰における経験的ベイズ推定について検討する。 もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。 これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
  論文  参考訳（メタデータ） (2023-09-28T20:51:40Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Bayesian Analysis for Over-parameterized Linear Model without Sparsity [8.1585306387285]
  本研究では,データ共分散行列の固有ベクトルに依存する事前分布を用いたベイズ的手法を提案する。 また、導出した後続推定の収縮率も提供し、後続分布のガウス近似を計算した。 これらの結果は,データスペクトルを処理し,非スパースな高次元パラメータを推定できるベイズ的手法が実現可能であることを示唆している。
  論文  参考訳（メタデータ） (2023-05-25T06:07:47Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Pathologies in priors and inference for Bayesian transformers [71.97183475225215]
  ベイズ推定を用いた予測不確実性の観点からトランスフォーマーモデルを改善する試みは成功していない。 変換器の重み空間推定は, 近似後部に関係なくうまく動作しないことがわかった。 本稿では,ディリクレ分布の暗黙的再パラメータ化に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-10-08T10:35:27Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。