論文の概要: Double Descent Risk and Volume Saturation Effects: A Geometric
Perspective
- arxiv url: http://arxiv.org/abs/2006.04366v2
- Date: Tue, 10 Nov 2020 05:18:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-24 00:33:59.337083
- Title: Double Descent Risk and Volume Saturation Effects: A Geometric
Perspective
- Title(参考訳): 二重発振リスクと容積飽和効果:幾何学的視点
- Authors: Prasad Cheema, Mahito Sugiyama
- Abstract要約: モデルボリュームの対数:$log V$はAICおよびBICモデル選択基準の背景にある直観を拡張する。
等方的線形回帰と統計格子の特定のモデルクラスに対して、$log V$項は異なる成分の和に分解できる。
- 参考スコア(独自算出の注目度): 5.634825161148483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The appearance of the double-descent risk phenomenon has received growing
interest in the machine learning and statistics community, as it challenges
well-understood notions behind the U-shaped train-test curves. Motivated
through Rissanen's minimum description length (MDL), Balasubramanian's Occam's
Razor, and Amari's information geometry, we investigate how the logarithm of
the model volume: $\log V$, works to extend intuition behind the AIC and BIC
model selection criteria. We find that for the particular model classes of
isotropic linear regression and statistical lattices, the $\log V$ term may be
decomposed into a sum of distinct components, each of which assist in their
explanations of the appearance of this phenomenon. In particular they suggest
why generalization error does not necessarily continue to grow with increasing
model dimensionality.
- Abstract(参考訳): 複発リスク現象の出現は、U字型の列車試験曲線の背後にあるよく理解された概念に挑戦するため、機械学習と統計学コミュニティへの関心が高まっている。
リッサネンの最小記述長(MDL)、バラスラマニアのOccam's Razor、アマリの情報幾何を通して、モデル体積の対数:$\log V$は、AICとBICモデル選択基準の背景にある直観を拡張するためにどのように機能するかを考察する。
等方的線形回帰と統計格子の特定のモデルクラスに対して、$\log V$ 項は異なる成分の和に分解され、それぞれがこの現象の出現を説明するのに役立つ。
特に、一般化誤差がモデル次元の増加とともに必ずしも増大しない理由を示唆している。
関連論文リスト
- Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。
我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
論文 参考訳(メタデータ) (2024-03-08T18:50:19Z) - Geometric Prior Guided Feature Representation Learning for Long-Tailed
Classification [49.90107582624604]
そこで,本論文では,よく表現されたヘッドクラスの特徴分布の幾何学的情報を活用し,モデルにテールクラスの基盤となる分布を学習させる手法を提案する。
パータード機能は、可能な限りテールクラスの基盤となる分布をカバーし、テスト領域におけるモデルの一般化性能を向上させることを目的としている。
論文 参考訳(メタデータ) (2024-01-21T09:16:29Z) - A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳(メタデータ) (2023-10-29T12:05:39Z) - Curvature-Balanced Feature Manifold Learning for Long-Tailed
Classification [52.021899899683675]
尾のクラスは必ずしも学習が難しいわけではなく、サンプルバランスのデータセットでモデルバイアスが観測されていることを示す。
本稿では, 曲率バランスと平らな知覚多様体の学習を容易にするため, 曲率正規化を提案する。
我々の研究は、モデルバイアスに関する幾何学的分析の視点を開き、非長い尾とサンプルバランスのデータセットのモデルバイアスに注意を払うよう研究者に促す。
論文 参考訳(メタデータ) (2023-03-22T04:49:23Z) - Realization of Causal Representation Learning to Adjust Confounding Bias
in Latent Space [28.133104562449212]
因果DAG (Directed Acyclic Graphs) は通常、2次元平面において考慮される。
本稿では,変数の値がもはや時間スタンプに依存しておらず,時系列を軸と見なすことができるEmphdo-DAGとして因果DAGを再定義する。
論文 参考訳(メタデータ) (2022-11-15T23:35:15Z) - Multiple Descent in the Multiple Random Feature Model [8.988540634325691]
多成分予測モデルのクラスにおける多重降下現象について検討する。
特定の降下数を持つリスク曲線が、多成分予測モデルの学習に一般的に存在することを示す。
論文 参考訳(メタデータ) (2022-08-21T14:53:15Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳(メタデータ) (2021-07-27T09:13:11Z) - Do-calculus enables causal reasoning with latent variable models [2.294014185517203]
潜在変数モデル(LVM)は、トレーニング中に変数の一部が隠蔽される確率モデルである。
因果推論は,確率的モデリングコミュニティで長年確立されてきた幅広いlvmのクラスを拡張できることを示す。
論文 参考訳(メタデータ) (2021-02-12T17:12:53Z) - Why do classifier accuracies show linear trends under distribution
shift? [58.40438263312526]
あるデータ分布上のモデルの精度は、別の分布上の精度のほぼ線形関数である。
2つのモデルが予測で一致する確率は、精度レベルだけで推測できるものよりも高いと仮定します。
分布シフトの大きさが大きければ, 2 つの分布のモデルを評価する場合, 線形傾向が生じなければならない。
論文 参考訳(メタデータ) (2020-12-31T07:24:30Z) - The Generalized Lasso with Nonlinear Observations and Generative Priors [63.541900026673055]
我々は、幅広い測定モデルで満たされるガウス下測度を仮定する。
この結果から, 局所埋込特性を仮定して, 均一回復保証まで拡張できることが示唆された。
論文 参考訳(メタデータ) (2020-06-22T16:43:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。