論文の概要: Bayesian Double Descent

• arxiv url: http://arxiv.org/abs/2507.07338v1
• Date: Wed, 09 Jul 2025 23:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.230727
• Title: Bayesian Double Descent
• Title（参考訳）: Bayesian (複数形 Bayesians)
• Authors: Nick Polson, Vadim Sokolov,
• Abstract要約: 二重降下効果の自然なベイズ的解釈を示す。 ベイズ模型が持つ伝統的なオッカムのカミソリと矛盾しないことを示す。 本稿では,ニューラルネットワークにおけるベイズモデル選択の例を示す。
• 参考スコア（独自算出の注目度）: 0.6906005491572398
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Double descent is a phenomenon of over-parameterized statistical models. Our goal is to view double descent from a Bayesian perspective. Over-parameterized models such as deep neural networks have an interesting re-descending property in their risk characteristics. This is a recent phenomenon in machine learning and has been the subject of many studies. As the complexity of the model increases, there is a U-shaped region corresponding to the traditional bias-variance trade-off, but then as the number of parameters equals the number of observations and the model becomes one of interpolation, the risk can become infinite and then, in the over-parameterized region, it re-descends -- the double descent effect. We show that this has a natural Bayesian interpretation. Moreover, we show that it is not in conflict with the traditional Occam's razor that Bayesian models possess, in that they tend to prefer simpler models when possible. We illustrate the approach with an example of Bayesian model selection in neural networks. Finally, we conclude with directions for future research.
• Abstract（参考訳）: 二重降下は過パラメータ化統計モデルの現象である。 私たちのゴールは、ベイズの観点からの二重降下を見ることです。 ディープニューラルネットワークのような過度パラメータ化されたモデルは、そのリスク特性において興味深い再帰性を持つ。 これは機械学習における最近の現象であり、多くの研究の対象となっている。 モデルの複雑さが増大するにつれて、従来のバイアス分散トレードオフに対応するU字型領域が存在するが、パラメータの数が観測数と等しくなり、モデルは補間されるので、リスクは無限になり、過度にパラメータ化された領域では -- 二重降下効果を再帰する。 これは自然のベイズ解釈を持つことを示す。 さらに、ベイズモデルが持つ伝統的なオッカムのカミソリとは矛盾せず、可能であればより単純なモデルを好む傾向にあることを示す。 本稿では,ニューラルネットワークにおけるベイズモデル選択の例を示す。 最後に,今後の研究の方向性について述べる。

関連論文リスト

• Generative Modeling with Bayesian Sample Inference [50.07758840675341]
  我々は,反復的なガウス後部推論から新しい生成モデルを導出した。 我々のモデルは、未知のサンプルを反復的に絞り込むために、一連の予測と後続の更新ステップを使用する。 実験では,BFNと近縁な変分拡散モデルの両方に対して,ImageNet32のサンプル品質が向上することが実証された。
  論文  参考訳（メタデータ） (2025-02-11T14:27:10Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• Multiple Descent in the Multiple Random Feature Model [8.988540634325691]
  多成分予測モデルのクラスにおける多重降下現象について検討する。 特定の降下数を持つリスク曲線が、多成分予測モデルの学習に一般的に存在することを示す。
  論文  参考訳（メタデータ） (2022-08-21T14:53:15Z)
• On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
  最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。 ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。 ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
  論文  参考訳（メタデータ） (2021-07-27T09:13:11Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。