論文の概要: eGAD! double descent is explained by Generalized Aliasing Decomposition
- arxiv url: http://arxiv.org/abs/2408.08294v3
- Date: Fri, 10 Jan 2025 00:19:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-13 15:25:05.962690
- Title: eGAD! double descent is explained by Generalized Aliasing Decomposition
- Title（参考訳）: eGAD! 二重降下は一般化エイリアシング分解によって説明される
- Authors: Mark K. Transtrum, Gus L. W. Hart, Tyler J. Jarvis, Jared P. Whitehead,
- Abstract要約: 本稿では,予測性能とモデル複雑性の関係を説明するため,GAD(Generalized Aliasing decomposition)と呼ぶ新しい分解法を提案する。
GADは予測誤差を3つの部分に分解する: 1) パラメータの数がデータポイントの数よりもはるかに小さい場合に支配するモデル不整合、2) データ不整合、3) パラメータの数がデータポイントの数よりはるかに大きいときに支配するデータ不整合、3) 一般化エイリアス。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: A central problem in data science is to use potentially noisy samples of an unknown function to predict values for unseen inputs. In classical statistics, predictive error is understood as a trade-off between the bias and the variance that balances model simplicity with its ability to fit complex functions. However, over-parameterized models exhibit counterintuitive behaviors, such as "double descent" in which models of increasing complexity exhibit decreasing generalization error. Others may exhibit more complicated patterns of predictive error with multiple peaks and valleys. Neither double descent nor multiple descent phenomena are well explained by the bias-variance decomposition. We introduce a novel decomposition that we call the generalized aliasing decomposition (GAD) to explain the relationship between predictive performance and model complexity. The GAD decomposes the predictive error into three parts: 1) model insufficiency, which dominates when the number of parameters is much smaller than the number of data points, 2) data insufficiency, which dominates when the number of parameters is much greater than the number of data points, and 3) generalized aliasing, which dominates between these two extremes. We demonstrate the applicability of the GAD to diverse applications, including random feature models from machine learning, Fourier transforms from signal processing, solution methods for differential equations, and predictive formation enthalpy in materials discovery. Because key components of the GAD can be explicitly calculated from the relationship between model class and samples without seeing any data labels, it can answer questions related to experimental design and model selection before collecting data or performing experiments. We further demonstrate this approach on several examples and discuss implications for predictive modeling and data science.
- Abstract（参考訳）: データサイエンスの中心的な問題は、未知の関数の潜在的なノイズのあるサンプルを使用して、目に見えない入力の値を予測することである。
古典統計学において、予測誤差は、モデル単純性と複雑な関数に適合する能力のバランスをとるバイアスと分散の間のトレードオフとして理解される。
しかし、過パラメータ化モデルは「二重降下」のような反直感的な振る舞いを示し、複雑性を増大させるモデルは一般化誤差を減少させる。
また、複数のピークや谷で予測誤差のパターンが複雑になることもある。
二重降下も多重降下現象もバイアス分散分解によってよく説明できない。
本稿では,予測性能とモデル複雑性の関係を説明するため,GAD(Generalized Aliasing decomposition)と呼ぶ新しい分解法を提案する。
GADは予測エラーを3つの部分に分解する。
1) パラメータの数がデータポイントの数よりもはるかに小さい場合に支配するモデル不整合。
2)データ不足は、パラメータの数がデータポイントの数よりはるかに多い場合に支配的であり、
3) 一般のエイリアシングはこれら2つの極端の間に支配的である。
本稿では,機械学習からのランダム特徴モデル,信号処理からのフーリエ変換,微分方程式の解法,材料発見における予測生成エンタルピーなど,GADの適用性を示す。
GADの主要なコンポーネントは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算できるため、データ収集や実験を行う前に、実験的な設計とモデル選択に関する質問に答えることができる。
さらに, この手法をいくつかの例で実証し, 予測モデリングとデータサイエンスへの影響について論じる。
関連論文リスト
- Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。
我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
論文 参考訳（メタデータ） (2024-10-02T06:09:57Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Sample, estimate, aggregate: A recipe for causal discovery foundation models [28.116832159265964]
我々は、古典因果探索アルゴリズムの出力からより大きな因果グラフを予測することを学ぶ教師付きモデルを訓練する。
我々のアプローチは、古典的手法の出力における典型的なエラーがデータセット間で比較できるという観察によって実現されている。
実データおよび合成データに関する実験では、このモデルが不特定性や分布シフトに直面して高い精度を維持することを示した。
論文 参考訳（メタデータ） (2024-02-02T21:57:58Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。
ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。
実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
論文 参考訳（メタデータ） (2022-06-24T08:18:05Z) - Information-Theoretic Generalization Bounds for Iterative
Semi-Supervised Learning [81.1071978288003]
特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。
我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
論文 参考訳（メタデータ） (2021-10-03T05:38:49Z) - Understanding Double Descent Requires a Fine-Grained Bias-Variance
Decomposition [34.235007566913396]
ラベルに関連付けられた用語への分散の解釈可能で対称的な分解について述べる。
バイアスはネットワーク幅とともに単調に減少するが、分散項は非単調な振る舞いを示す。
我々はまた、著しく豊かな現象論も分析する。
論文 参考訳（メタデータ） (2020-11-04T21:04:02Z) - Memorizing without overfitting: Bias, variance, and interpolation in
over-parameterized models [0.0]
バイアス分散トレードオフは教師あり学習における中心的な概念である。
現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
論文 参考訳（メタデータ） (2020-10-26T22:31:04Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳（メタデータ） (2020-07-21T08:18:06Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。