論文の概要: Is the Last Layer Sufficient for Uncertainty Quantification?

• arxiv url: http://arxiv.org/abs/2605.30741v1
• Date: Fri, 29 May 2026 02:09:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.338152
• Title: Is the Last Layer Sufficient for Uncertainty Quantification?
• Title（参考訳）: 最後の層は不確かさの定量化に十分か?
• Abstract要約: ディープニューラルネットワーク(DNN)に対する疫学的不確実性定量化(UQ)は、ミッションクリティカルな設定でAIを安全に採用するための要件である。 理論的手法と経験的手法の両方を用いて,全ネットワークと最終層線形化から生じるGLMを比較した。 最後の層近似は、計算効率を大幅に向上させながら、同等のUQ性能が得られる。
• 参考スコア（独自算出の注目度）: 13.132499571608868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Epistemic uncertainty quantification (UQ) for deep neural networks (DNNs) is a requirement for safe adoption of AI in mission-critical settings. Several leading methods for UQ linearize DNNs to form Bayesian Generalized Linear Models (GLMs), where epistemic uncertainty is modeled via the predictive posterior distribution. Linearizing around the parameters of the final connected layer of a DNN is a commonly used approximation for reducing the computational burden of such GLMs, though it is often believed to come at the cost of degraded performance. In this work, we compare GLMs arising from full-network and last-layer linearization using both theoretical and empirical approaches. We first employ tools from random matrix theory to conduct a theoretical comparison; this analysis reveals no meaningful improvement in the UQ capabilities of full linearization. Coupled with a large-scale empirical evaluation across a range of modern machine learning tasks, we arrive at the following conclusion: a last-layer approximation yields comparable UQ performance while offering substantially improved computational efficiency.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)に対する疫学的不確実性定量化(UQ)は、ミッションクリティカルな設定でAIを安全に採用するための要件である。 UQがDNNを線形化してベイジアン一般化線形モデル(GLM)を形成するいくつかの先導的手法では、エピステミックの不確実性は予測後分布を介してモデル化される。 DNNの最終連結層のパラメータを線形化することは、そのようなGLMの計算負担を軽減するために一般的に用いられる近似である。 本研究は, 実ネットワークと最終層線形化から生じるGLMを, 理論的および経験的アプローチの両方を用いて比較する。 我々はまず、まずランダム行列理論のツールを用いて理論比較を行い、この分析は完全な線形化のUQ能力において有意義な改善は示さない。 最新の機械学習タスクにおける大規模な経験的評価と組み合わせて、最終層近似は計算効率を大幅に向上させながら、同等なUQ性能が得られるという結論に達した。

関連論文リスト

• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• MesaNet: Sequence Modeling by Locally Optimal Test-Time Training [67.45211108321203]
  我々は,最近提案されたMesa層の数値的に安定かつチャンクワイズ可能な並列化版を導入する。 テストタイムの最適トレーニングにより、従来のRNNよりも言語モデリングの難易度が低く、ダウンストリームベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2025-06-05T16:50:23Z)
• Evidential Uncertainty Probes for Graph Neural Networks [3.5169632430086315]
  グラフニューラルネットワーク(GNN)における不確実性定量化のためのプラグアンドプレイフレームワークを提案する。 Evidential Probing Network (EPN) は、学習した表現から証拠を抽出するために軽量なMulti-Layer-Perceptron (MLP) ヘッドを使用する。 EPN-regは、正確で効率的な不確実性定量化において最先端のパフォーマンスを実現し、現実世界のデプロイメントに適している。
  論文  参考訳（メタデータ） (2025-03-11T07:00:54Z)
• Matrix Completion via Nonsmooth Regularization of Fully Connected Neural Networks [7.349727826230864]
  ディープニューラルネットワークのような非線形推定器を使うことで、性能の向上が達成できることが示されている。 本稿では,標準中間表現の観点から,FCNNモデルの正規化によるオーバーフィット制御を行う。 本シミュレーションは,既存の線形および非線形アルゴリズムと比較して,提案アルゴリズムの優位性を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:00:37Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。