論文の概要: Scalable AI Uncertainty Quantification via Generalized Laplace Active Subspaces
- arxiv url: http://arxiv.org/abs/2610.11738v1
- Date: Thu, 08 Oct 2026 11:31:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.981249
- Title: Scalable AI Uncertainty Quantification via Generalized Laplace Active Subspaces
- Title（参考訳）: 一般化ラプラスアクティブ部分空間によるスケーラブルAI不確かさの定量化
- Abstract要約: 少数のデータインフォームド曲率方向に基づくニューラルネットワークUQに対する低ランク一般化Laplace近似を提案する。
標準スケーリングは、主要な活性方向の後方分散のデータサイズ依存的収縮を誘導する。
一般化された平均損失スケーリングはより安定で低次元の活性部分空間をもたらす。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reliable uncertainty quantification (UQ) is essential for deploying neural networks in scientific and high-stakes applications, but full Bayesian inference over the network parameters is computationally infeasible. We propose a low-rank generalized Laplace approximation for neural-network UQ based on a small number of data-informed curvature directions. Starting from a generalized Bayesian posterior defined through an empirical loss, we construct a local Gaussian approximation around a pretrained set of weights in this active curvature subspace. The posterior variances in the retained subspace are available in closed form, and the prior variance is calibrated by an empirical Bayes procedure. The generalized Bayesian formulation allows us to compare two posterior scalings: the standard Bayesian scaling associated with the summed negative log likelihood, and a mean-loss scaling in which the empirical loss is normalized by the number of data. A central finding is that the standard scaling induces a data-size dependent contraction of the posterior variance in the leading active directions. In regression problems, this can force the low-rank framework to retain additional weak-curvature directions in order to achieve nominal coverage of calibration data. When posterior samples are propagated through the non-linear network, these additional directions can degrade the coherence of the predictive intervals and shift the posterior predictive mean away from the pretrained model. In contrast, the generalized mean-loss scaling yields a more stable, lower dimensional active subspace and produces calibrated, coherent predictive confidence intervals. These results indicate that generalized Laplace active subspaces provide a practical and scalable route to calibrated uncertainty quantification in neural networks.
- Abstract（参考訳）: 信頼性のある不確実性定量化(UQ)は、ニューラルネットワークを科学的・高精細なアプリケーションにデプロイするのに不可欠であるが、ネットワークパラメータに対するベイズ推定は計算不可能である。
少数のデータインフォームド曲率方向に基づくニューラルネットワークUQに対する低ランク一般化Laplace近似を提案する。
経験的損失によって定義される一般化ベイズ後部から始めて、この活性曲率部分空間の事前訓練された重みの集合の周りに局所ガウス近似を構築する。
保持部分空間の後方分散は閉形式で利用可能であり、先行分散は経験的ベイズ法によって校正される。
一般化されたベイズ的定式化により、合計負の対数確率に付随する標準ベイズ的スケーリングと、データ数によって経験損失が正規化される平均損失スケーリングの2つの後方スケーリングを比較することができる。
中心的な発見は、標準スケーリングは、主要な活性方向の後方分散のデータサイズ依存的収縮を誘導するということである。
回帰問題では、キャリブレーションデータの明示的なカバレッジを達成するために、低ランクのフレームワークにさらなる弱い曲率の方向を維持することを強制することができる。
後方サンプルが非線形ネットワークを介して伝搬されると、これらの追加方向は予測間隔のコヒーレンスを低下させ、事前訓練されたモデルから後方予測平均を逸脱させる。
対照的に、一般化された平均損失スケーリングはより安定で低次元の活性部分空間をもたらし、キャリブレーションされたコヒーレントな予測信頼区間を生成する。
これらの結果は、一般化されたLaplace活性部分空間が、ニューラルネットワークにおける不確実性定量化を校正するための実用的でスケーラブルな経路を提供することを示している。
関連論文リスト
- PosteriorBench: From Point Estimates to Posterior Matching in Evaluating Generative Inverse Solvers [58.87583368961845]
PosteriorBenchは、生成的逆解器の分布精度を評価するためのベンチマークである。
ダーシーフローの逆転、ポアソン源の回復、炭素捕獲と貯蔵、光輸送物質推論の4つの物理に基づく逆問題を評価する。
論文 参考訳（メタデータ） (2026-09-17T17:54:12Z) - VIKING: Deep variational inference with stochastic projections [48.946143517489496]
変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。
パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。
これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
論文 参考訳（メタデータ） (2025-10-27T15:38:35Z) - Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence [8.952347049759094]
我々は、保留データなしで、保留後のニューラルネットワーク回帰器の予測間隔を構築する。
ガウス・ニュートンの影響を利用して1回、局所摂動モデルパラメータを訓練する。
論文 参考訳（メタデータ） (2025-07-27T13:34:32Z) - Tracing the Path to Grokking: Embeddings, Dropout, and Network Activation [0.0]
グロキング(Grokking)とは、トレーニング精度の向上後にニューラルネットワークのテスト精度が向上する遅延一般化のこと。
本稿では, 落下時の分散, 強靭性, 埋め込み類似性, 余剰性など, グルーキングの挙動を予測できる指標をいくつか紹介する。
論文 参考訳（メタデータ） (2025-07-15T18:30:42Z) - Variation Due to Regularization Tractably Recovers Bayesian Deep Learning [44.16006844888796]
本稿では,正規化による変動に基づく大規模ネットワークの不確実性定量化手法を提案する。
正規化変動(RegVar)は、無限小極限においてベイズ深層学習におけるラプラス近似を正確に回復する厳密な不確実性を推定する。
複数のデータセットにまたがる実験により、RegVarは不確実な予測を効果的に識別するだけでなく、学習した表現の安定性に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-03-15T20:47:39Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。
我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。
我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文 参考訳（メタデータ） (2021-07-05T21:05:11Z) - Variational Laplace for Bayesian neural networks [33.46810568687292]
我々はベイズニューラルネットワーク(BNN)のための変分ラプラスを開発する。
我々は,ニューラルネットワークの重みをサンプリングすることなく,ELBOの曲率を局所的に近似し,ELBOを推定する。
分散パラメータの学習率を増大させることにより,早期停止を回避できることを示す。
論文 参考訳（メタデータ） (2020-11-20T15:16:18Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。