論文の概要: Deep Neural Network Training as Random Effects: An Optimization-Inference Duality

• arxiv url: http://arxiv.org/abs/2605.27991v1
• Date: Wed, 27 May 2026 05:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.771636
• Title: Deep Neural Network Training as Random Effects: An Optimization-Inference Duality
• Title（参考訳）: ランダム効果としてのディープニューラルネットワークトレーニング - 最適化推論の双対性
• Authors: Minhao Yao, Ruoyu Wang, Xihong Lin, Lin Liu, Zhonghua Liu,
• Abstract要約: ディープニューラルネットワーク(DNN)は目覚ましい実験的な成功を収めた。 この研究は、DNNトレーニングを統計的推論として再設計し、ディープニューラルネットワークのトレーニング期間とトレーニング期間を決定するための原則的な基盤を提供する。
• 参考スコア（独自算出の注目度）: 16.158545640309438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable empirical success, yet their training dynamics remain understood mainly from optimization rather than statistical principles. Here we develop a statistical framework for DNN training in the over-parameterized regime by showing that the prediction induced by continuous-time neural tangent kernel (NTK) gradient flow is exactly equivalent to that from a classical random-effects model. In this framework, training time acts as a variance component, or equivalently an empirical Bayes covariance hyperparameter, governing the allocation of variation from noise to structured signal. This equivalence reveals an optimization-inference duality: the gradient-flow path is both an optimization trajectory and an empirical Bayes random-effects inference path. Conditional on training time, the network output is the posterior mean of the latent signal, and estimating training time by restricted maximum likelihood (REML) turns early stopping into likelihood-based empirical Bayes inference rather than external tuning. This perspective yields a two-stage inferential procedure. First, a variance-component test determines whether DNN training captures statistically significant structure beyond initialization. Second, conditional on training being warranted, REML provides a likelihood-based early stopping rule. The resulting stopping time admits a spectral interpretation in the NTK eigenbasis, where training proceeds until spectral loss decorrelation is achieved. We further establish that REML-guided early stopping achieves asymptotically optimal prediction error for fixed-design in-sample prediction and, under additional random-design regularity conditions, for out-of-sample prediction. This work reframes DNN training as statistical inference and provides a principled foundation for deciding whether and how long to train deep neural networks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は目覚ましい経験的成功を達成しているが、そのトレーニングダイナミクスは主に統計的原理ではなく最適化から理解されている。 そこで我々は,従来のランダム・エフェクトモデルと正確に一致する連続時間ニューラル・タンジェント・カーネル(NTK)勾配流によって誘導される予測が,過度にパラメータ化された状態下でのDNNトレーニングの統計的枠組みを開発する。 このフレームワークでは、トレーニング時間は、ノイズから構造化信号への変動の割り当てを制御し、分散成分(または同等に経験的ベイズ共分散ハイパーパラメータ)として機能する。 この同値性は最適化-推論双対性を明らかにし、勾配-フロー経路は最適化軌道と経験的ベイズランダム効果推論経路の両方である。 トレーニング時間に基づいて、ネットワーク出力は潜時信号の後方平均であり、制限された最大可能性(REML)によるトレーニング時間の推定は、早期に停止し、外部チューニングではなく、確率に基づく経験的ベイズ推論へと変化する。 この観点は2段階の推論手順をもたらす。 まず、分散成分試験により、DNNトレーニングが初期化を超えて統計的に重要な構造を捉えているかどうかを決定する。 第2に、トレーニングの条件付きで、REMLは、可能性ベースの早期停止ルールを提供する。 結果の停止時間はNTK固有基底のスペクトル解釈を許容し、スペクトル損失のデコリレーションが達成されるまでトレーニングが進行する。 さらに、REML誘導早期停止は、固定設計のインサンプル予測に対して漸近的に最適な予測誤差を達成し、追加のランダム設計の規則性条件の下では、アウトオブサンプル予測を行う。 この研究は、DNNトレーニングを統計的推論として再設計し、ディープニューラルネットワークのトレーニング期間とトレーニング期間を決定するための原則的な基盤を提供する。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
  普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T14:17:16Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。