論文の概要: Bayesian Double Descent

• arxiv url: http://arxiv.org/abs/2507.07338v3
• Date: Tue, 14 Oct 2025 19:05:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 15:32:13.724302
• Title: Bayesian Double Descent
• Title（参考訳）: Bayesian (複数形 Bayesians)
• Authors: Nick Polson, Vadim Sokolov,
• Abstract要約: ディープニューラルネットワークはリスク関数に再帰性を持つことを示す。 モデルの複雑さが増加するにつれて、リスクはU字型の領域を示す。 パラメータの数が観測数と等しくなると、モデルはリスクを非バウンドにできるものの1つとなり、再帰する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Double descent is a phenomenon of over-parameterized statistical models such as deep neural networks which have a re-descending property in their risk function. As the complexity of the model increases, risk exhibits a U-shaped region due to the traditional bias-variance trade-off, then as the number of parameters equals the number of observations and the model becomes one of interpolation where the risk can be unbounded and finally, in the over-parameterized region, it re-descends -- the double descent effect. Our goal is to show that this has a natural Bayesian interpretation. We also show that this is not in conflict with the traditional Occam's razor -- simpler models are preferred to complex ones, all else being equal. Our theoretical foundations use Bayesian model selection, the Dickey-Savage density ratio, and connect generalized ridge regression and global-local shrinkage methods with double descent. We illustrate our approach for high dimensional neural networks and provide detailed treatments of infinite Gaussian means models and non-parametric regression. Finally, we conclude with directions for future research.
• Abstract（参考訳）: 二重降下は、ディープニューラルネットワークのような過度にパラメータ化された統計モデルの現象であり、そのリスク関数に再帰的な性質を持つ。 モデルが複雑化するにつれて、リスクは従来のバイアス分散トレードオフによるU字型領域を示し、パラメータの数が観測数と等しくなると、モデルは、リスクがアンバウンド可能な補間の1つとなり、過度にパラメータ化された領域では、再帰する -- 二重降下効果を持つ。我々のゴールは、これが自然なベイズ的解釈を持つことを示すことである。また、これは従来のオッカムのレイソルと矛盾していないことも示している。 我々の理論的基礎はベイズモデル選択、ディッキー・サベージ密度比を用いており、一般化された隆起回帰法とグローバル局所収縮法を二重降下で結合している。 本稿では,高次元ニューラルネットワークに対する我々のアプローチを概説し,無限ガウス平均モデルと非パラメトリック回帰の詳細な扱いについて述べる。 最後に,今後の研究の方向性について述べる。

関連論文リスト

• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々は,反復的なガウス後部推論から新しい生成モデルを導出した。 我々のモデルは、未知のサンプルを反復的に絞り込むために、一連の予測と後続の更新ステップを使用する。 実験では,BFNと近縁な変分拡散モデルの両方に対して,ImageNet32のサンプル品質が向上することが実証された。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison [0.0]
  Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。 リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。 Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T18:14:53Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• Multiple Descent in the Multiple Random Feature Model [8.988540634325691]
  多成分予測モデルのクラスにおける多重降下現象について検討する。 特定の降下数を持つリスク曲線が、多成分予測モデルの学習に一般的に存在することを示す。
  論文  参考訳（メタデータ） (2022-08-21T14:53:15Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。