論文の概要: Uncertainty Estimation and Generalization Bounds for Modern Deep Learning

• arxiv url: http://arxiv.org/abs/2606.13818v1
• Date: Thu, 11 Jun 2026 18:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.578193
• Title: Uncertainty Estimation and Generalization Bounds for Modern Deep Learning
• Title（参考訳）: 最新のディープラーニングのための不確かさ推定と一般化境界
• Authors: Luis A. Ortega,
• Abstract要約: この論文は、ベイズ主義が現代のディープラーニングシステムの理解を深める方法について考察する。 方法論的側面から、論文はDeep Variational Implicit Process (DVIP)を紹介する。 事前訓練されたネットワークに不確実性を推定する2つのポストホック手法を提案する。
• 参考スコア（独自算出の注目度）: 1.6582968942719265
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This thesis investigates how Bayesian principles can deepen our understanding of modern deep learning systems. While neural networks achieve remarkable predictive performance, their ability to generalize and to quantify uncertainty remains only partly understood. This thesis approaches this challenge from both methodological and theoretical angles: unifying Bayesian inference, function-space modeling, and large-deviation theory under a common probabilistic perspective. On the methodological side, the thesis introduces the Deep Variational Implicit Process (DVIP), a scalable Bayesian framework that extends implicit processes to deep architectures. Complementing this, two post-hoc methods -- the Variational Linearized Laplace Approximation (VaLLA) and the Fixed-Mean Gaussian Process (FMGP) -- are proposed to equip pretrained deterministic networks with calibrated uncertainty estimates. The theoretical contributions focus on one of the central open questions in modern machine learning: why do large, over-parameterized neural networks generalize so well? To address this, the thesis develops a unified probabilistic framework that connects three key mechanisms -- diversity, smoothness, and stochasticity -- within the language of PAC-Bayesian and large-deviation theory.
• Abstract（参考訳）: この論文は、ベイズ主義が現代のディープラーニングシステムの理解を深める方法について考察する。 ニューラルネットワークは目覚ましい予測性能を達成するが、不確実性を一般化し定量化する能力は、部分的にしか理解されていない。 この理論は、ベイズ的推論、関数空間モデリング、および一般的な確率論的視点の下での大偏差理論を統一することである。 方法論的な側面から、論文では暗黙的なプロセスを深いアーキテクチャに拡張するスケーラブルなベイズフレームワークであるDeep Variational Implicit Process (DVIP)を紹介している。 これを補完して、変分線形化ラプラス近似 (VaLLA) と固定平均ガウス過程 (FMGP) という2つのポストホック法が、事前訓練された決定論的ネットワークに、キャリブレーションされた不確実性推定を持たせるために提案されている。 理論的なコントリビューションは、現代の機械学習における主要なオープンな質問の1つに焦点を当てている。 これを解決するために、この論文は、PAC-ベイジアンおよび大偏差理論の言語の中で、多様性、滑らか性、確率性の3つの主要なメカニズムを結合する統一確率的枠組みを開発する。

関連論文リスト

• Possibilistic Predictive Uncertainty for Deep Learning [75.00607359322863]
  Dirichlet-approximated possibilistic rear predictions (DAPPr)を紹介する。 DAPPrは可能性理論を利用した原則的なフレームワークである。 この射影近似戦略は閉形式解を用いた単純な訓練目標を与える。
  論文  参考訳（メタデータ） (2026-05-01T12:14:01Z)
• On the Theoretical Foundation of Sparse Dictionary Learning in Mechanistic Interpretability [5.009082958329585]
  スパース辞書学習(SDL)を1つの統一最適化問題として考察する。 われわれは, 特徴吸収, 死んだニューロン, ニューロン再サンプリング技術など, 経験的に観察されたいくつかの現象について, 初めて理論的に説明を行った。
  論文  参考訳（メタデータ） (2025-12-05T08:47:19Z)
• A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation [0.0]
  本稿では,不確実性モデリングにおける基礎概念の統合とコンテキスト化について述べる。 空間集合における強い仮定や標準ベンチマークの欠如といった課題を特定する。 深層学習における不確実性認識のセグメンテーションを進めるための方向性を提案する。
  論文  参考訳（メタデータ） (2024-11-25T13:26:09Z)
• A Rigorous Link between Deep Ensembles and (Variational) Bayesian Methods [14.845158804951552]
  ベイズ的,変分的ベイズ的,アンサンブル法の間の数学的に厳密な関係を確立した。 技術的なレベルでは、ワッサーシュタインフローのレンズを通して一般化された変分推論に寄与する。
  論文  参考訳（メタデータ） (2023-05-24T11:13:59Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• Multivariate Deep Evidential Regression [77.34726150561087]
  不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。 本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
  論文  参考訳（メタデータ） (2021-04-13T12:20:18Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。