論文の概要: Deep Neural Network Training as Random Effects: An Optimization-Inference Duality

• arxiv url: http://arxiv.org/abs/2605.27991v1
• Date: Wed, 27 May 2026 05:32:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.771636
• Title: Deep Neural Network Training as Random Effects: An Optimization-Inference Duality
• Title（参考訳）: ランダム効果としてのディープニューラルネットワークトレーニング - 最適化推論の双対性
• Abstract要約: ディープニューラルネットワーク(DNN)は目覚ましい実験的な成功を収めた。 この研究は、DNNトレーニングを統計的推論として再設計し、ディープニューラルネットワークのトレーニング期間とトレーニング期間を決定するための原則的な基盤を提供する。
• 参考スコア（独自算出の注目度）: 16.158545640309438
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (DNNs) have achieved remarkable empirical success, yet their training dynamics remain understood mainly from optimization rather than statistical principles. Here we develop a statistical framework for DNN training in the over-parameterized regime by showing that the prediction induced by continuous-time neural tangent kernel (NTK) gradient flow is exactly equivalent to that from a classical random-effects model. In this framework, training time acts as a variance component, or equivalently an empirical Bayes covariance hyperparameter, governing the allocation of variation from noise to structured signal. This equivalence reveals an optimization-inference duality: the gradient-flow path is both an optimization trajectory and an empirical Bayes random-effects inference path. Conditional on training time, the network output is the posterior mean of the latent signal, and estimating training time by restricted maximum likelihood (REML) turns early stopping into likelihood-based empirical Bayes inference rather than external tuning. This perspective yields a two-stage inferential procedure. First, a variance-component test determines whether DNN training captures statistically significant structure beyond initialization. Second, conditional on training being warranted, REML provides a likelihood-based early stopping rule. The resulting stopping time admits a spectral interpretation in the NTK eigenbasis, where training proceeds until spectral loss decorrelation is achieved. We further establish that REML-guided early stopping achieves asymptotically optimal prediction error for fixed-design in-sample prediction and, under additional random-design regularity conditions, for out-of-sample prediction. This work reframes DNN training as statistical inference and provides a principled foundation for deciding whether and how long to train deep neural networks.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は目覚ましい経験的成功を達成しているが、そのトレーニングダイナミクスは主に統計的原理ではなく最適化から理解されている。 そこで我々は,従来のランダム・エフェクトモデルと正確に一致する連続時間ニューラル・タンジェント・カーネル(NTK)勾配流によって誘導される予測が,過度にパラメータ化された状態下でのDNNトレーニングの統計的枠組みを開発する。 このフレームワークでは、トレーニング時間は、ノイズから構造化信号への変動の割り当てを制御し、分散成分(または同等に経験的ベイズ共分散ハイパーパラメータ)として機能する。 この同値性は最適化-推論双対性を明らかにし、勾配-フロー経路は最適化軌道と経験的ベイズランダム効果推論経路の両方である。 トレーニング時間に基づいて、ネットワーク出力は潜時信号の後方平均であり、制限された最大可能性(REML)によるトレーニング時間の推定は、早期に停止し、外部チューニングではなく、確率に基づく経験的ベイズ推論へと変化する。 この観点は2段階の推論手順をもたらす。 まず、分散成分試験により、DNNトレーニングが初期化を超えて統計的に重要な構造を捉えているかどうかを決定する。 第2に、トレーニングの条件付きで、REMLは、可能性ベースの早期停止ルールを提供する。 結果の停止時間はNTK固有基底のスペクトル解釈を許容し、スペクトル損失のデコリレーションが達成されるまでトレーニングが進行する。 さらに、REML誘導早期停止は、固定設計のインサンプル予測に対して漸近的に最適な予測誤差を達成し、追加のランダム設計の規則性条件の下では、アウトオブサンプル予測を行う。 この研究は、DNNトレーニングを統計的推論として再設計し、ディープニューラルネットワークのトレーニング期間とトレーニング期間を決定するための原則的な基盤を提供する。

関連論文リスト

• Compute-Optimal Pretrain--Fine-tune in Ridge Gradient Descent [18.338094508559468]
  一定のトレーニング予算の下では、上流目標の改善に費やされた計算は、下流適応に利用可能な計算を減らす。 我々は,この割り当てを,固定された全最適化予算を持つ2段階のプレトレイン・ファインチューン手順の下で計算分割問題とみなした。 以上の結果から,事前学習方向が微調整予測にどのように影響するか,下流データ幾何による微調整シフトがどのように影響するかが示唆された。
  論文  参考訳（メタデータ） (2026-09-14T19:23:59Z)
• From Atoms to Entropy: Optimal Noise Allocation for Diffusion Training in the Convex Regime [52.459513910242485]
  拡散訓練における最適な雑音レベルアロケーションを研究するための一般統計フレームワークを開発する。 最適化されたトレーニングスケジュールは、有限個のノイズレベルに集中した原子最小値を持つことを示す。 次に,大規模実験におけるエントロピック・スケジュールの評価を行った。
  論文  参考訳（メタデータ） (2026-07-10T20:59:06Z)
• PriFT: Prior-Support Guided Supervised Fine-Tuning [74.65198014829393]
  Supervised Fine-tuning (SFT) は、下流タスク適応のための効率的なアプローチである。 SFTはトークン単位で固定されたデモトークンに適合する。 凍結した事前訓練参照からトークン重みを導出し、微調整の影響を受けない安定した再重み付け信号を得るPriFTを提案する。
  論文  参考訳（メタデータ） (2026-06-08T12:14:06Z)
• Why Self-Training Helps and Hurts: Denoising vs. Signal Forgetting [6.369253528507392]
  反復的な自己学習は、自身の予測によって生成された擬似ラベルのモデルに繰り返し適合する。 繰り返しの予測リスクと有効雑音に対する決定論的等価再帰を導出する。
  論文  参考訳（メタデータ） (2026-02-15T07:28:12Z)
• Online Bayesian Imbalanced Learning with Bregman-Calibrated Deep Networks [0.7106986689736825]
  本報告では、クラス優先の仮定から確率比の推定を分離する原則的フレームワークであるOBIL(TextitOnline Bayesian Im Balanced Learning)を提案する。 我々のアプローチは、ブレグマンの発散と適切なスコアリングルールとの確立された接続に基づいて、そのような損失で訓練されたディープネットワークが後続確率推定を生成することを示す。 これらの確率比の推定は、クラス事前およびコスト構造における任意の変化の下でも有効であり、最適なベイズ決定のためのしきい値調整のみを必要とすることを証明している。
  論文  参考訳（メタデータ） (2026-02-08T21:23:00Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Optimal Condition for Initialization Variance in Deep Neural Networks: An SGD Dynamics Perspective [0.0]
  勾配降下(SGD)は機械学習(ML)における最も基本的な最適化アルゴリズムの1つである。 この方程式から導かれる準定常分布とクルバック・リーブラー(KL)の発散による初期分布の関係について検討する。 MNISTおよびFashion-MNISTデータセット上で、古典的なSGDを用いて完全に接続されたニューラルネットワークをトレーニングすることにより、理論的結果を実験的に確認する。
  論文  参考訳（メタデータ） (2025-08-18T11:18:12Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Fixed-Mean Gaussian Processes for Post-hoc Bayesian Deep Learning [11.22428369342346]
  普遍カーネルを用いた場合、後続平均を任意の連続関数に固定する、スパース変分ガウス過程(GP)の新たなファミリを導入する。 具体的には、このGPの平均値を事前学習したDNNの出力に固定し、GPの予測分散を効果的に適合させて予測の不確かさを推定する。 実験の結果,FMGPは最先端手法と比較して不確実性評価と計算効率を両立させることがわかった。
  論文  参考訳（メタデータ） (2024-12-05T14:17:16Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Variational Linearized Laplace Approximation for Bayesian Deep Learning [11.22428369342346]
  変分スパースガウス過程(GP)を用いた線形ラプラス近似(LLA)の近似法を提案する。 本手法はGPの2つのRKHSの定式化に基づいており、予測平均として元のDNNの出力を保持する。 効率のよい最適化が可能で、結果としてトレーニングデータセットのサイズのサブ線形トレーニング時間が短縮される。
  論文  参考訳（メタデータ） (2023-02-24T10:32:30Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Dynamic Scheduled Sampling with Imitation Loss for Neural Text Generation [10.306522595622651]
  トレーニング時間精度のみに基づいてスケジュールを維持するDySI(Dynamic Scheduled Sampling with Imitation Loss)を導入する。 DySIは標準的な機械翻訳ベンチマークの顕著な改善を実現し、他のテキスト生成モデルの堅牢性を大幅に改善した。
  論文  参考訳（メタデータ） (2023-01-31T16:41:06Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。