論文の概要: eGAD! double descent is explained by Generalized Aliasing Decomposition
- arxiv url: http://arxiv.org/abs/2408.08294v3
- Date: Fri, 10 Jan 2025 00:19:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-13 15:25:05.962690
- Title: eGAD! double descent is explained by Generalized Aliasing Decomposition
- Title（参考訳）: eGAD! 二重降下は一般化エイリアシング分解によって説明される
- Authors: Mark K. Transtrum, Gus L. W. Hart, Tyler J. Jarvis, Jared P. Whitehead,
- Abstract要約: 本稿では,予測性能とモデル複雑性の関係を説明するため,GAD(Generalized Aliasing decomposition)と呼ぶ新しい分解法を提案する。
GADは予測誤差を3つの部分に分解する: 1) パラメータの数がデータポイントの数よりもはるかに小さい場合に支配するモデル不整合、2) データ不整合、3) パラメータの数がデータポイントの数よりはるかに大きいときに支配するデータ不整合、3) 一般化エイリアス。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: A central problem in data science is to use potentially noisy samples of an unknown function to predict values for unseen inputs. In classical statistics, predictive error is understood as a trade-off between the bias and the variance that balances model simplicity with its ability to fit complex functions. However, over-parameterized models exhibit counterintuitive behaviors, such as "double descent" in which models of increasing complexity exhibit decreasing generalization error. Others may exhibit more complicated patterns of predictive error with multiple peaks and valleys. Neither double descent nor multiple descent phenomena are well explained by the bias-variance decomposition. We introduce a novel decomposition that we call the generalized aliasing decomposition (GAD) to explain the relationship between predictive performance and model complexity. The GAD decomposes the predictive error into three parts: 1) model insufficiency, which dominates when the number of parameters is much smaller than the number of data points, 2) data insufficiency, which dominates when the number of parameters is much greater than the number of data points, and 3) generalized aliasing, which dominates between these two extremes. We demonstrate the applicability of the GAD to diverse applications, including random feature models from machine learning, Fourier transforms from signal processing, solution methods for differential equations, and predictive formation enthalpy in materials discovery. Because key components of the GAD can be explicitly calculated from the relationship between model class and samples without seeing any data labels, it can answer questions related to experimental design and model selection before collecting data or performing experiments. We further demonstrate this approach on several examples and discuss implications for predictive modeling and data science.
- Abstract（参考訳）: データサイエンスの中心的な問題は、未知の関数の潜在的なノイズのあるサンプルを使用して、目に見えない入力の値を予測することである。
古典統計学において、予測誤差は、モデル単純性と複雑な関数に適合する能力のバランスをとるバイアスと分散の間のトレードオフとして理解される。
しかし、過パラメータ化モデルは「二重降下」のような反直感的な振る舞いを示し、複雑性を増大させるモデルは一般化誤差を減少させる。
また、複数のピークや谷で予測誤差のパターンが複雑になることもある。
二重降下も多重降下現象もバイアス分散分解によってよく説明できない。
本稿では,予測性能とモデル複雑性の関係を説明するため,GAD(Generalized Aliasing decomposition)と呼ぶ新しい分解法を提案する。
GADは予測エラーを3つの部分に分解する。
1) パラメータの数がデータポイントの数よりもはるかに小さい場合に支配するモデル不整合。
2)データ不足は、パラメータの数がデータポイントの数よりはるかに多い場合に支配的であり、
3) 一般のエイリアシングはこれら2つの極端の間に支配的である。
本稿では,機械学習からのランダム特徴モデル,信号処理からのフーリエ変換,微分方程式の解法,材料発見における予測生成エンタルピーなど,GADの適用性を示す。
GADの主要なコンポーネントは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算できるため、データ収集や実験を行う前に、実験的な設計とモデル選択に関する質問に答えることができる。
さらに, この手法をいくつかの例で実証し, 予測モデリングとデータサイエンスへの影響について論じる。
関連論文リスト
- Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。
我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
論文 参考訳（メタデータ） (2024-10-02T06:09:57Z) - Scaling and renormalization in high-dimensional regression [72.59731158970894]
本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。
本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
論文 参考訳（メタデータ） (2024-05-01T15:59:00Z) - Sample, estimate, aggregate: A recipe for causal discovery foundation models [28.116832159265964]
我々は、古典因果探索アルゴリズムの出力からより大きな因果グラフを予測することを学ぶ教師付きモデルを訓練する。
我々のアプローチは、古典的手法の出力における典型的なエラーがデータセット間で比較できるという観察によって実現されている。
実データおよび合成データに関する実験では、このモデルが不特定性や分布シフトに直面して高い精度を維持することを示した。
論文 参考訳（メタデータ） (2024-02-02T21:57:58Z) - Analysis of Interpolating Regression Models and the Double Descent
Phenomenon [3.883460584034765]
ノイズの多いトレーニングデータを補間するモデルは、一般化に乏しいと一般的に推測されている。
得られた最良のモデルは過度にパラメータ化され、テストエラーはモデル順序が増加するにつれて二重降下挙動を示す。
回帰行列の最小特異値の振舞いに基づいて、テスト誤差のピーク位置と二重降下形状をモデル順序の関数として説明する。
論文 参考訳（メタデータ） (2023-04-17T09:44:33Z) - Double Descent Demystified: Identifying, Interpreting & Ablating the
Sources of a Deep Learning Puzzle [12.00962791565144]
二重降下は機械学習の驚くべき現象である。
データ数に対してモデルパラメータの数が増加するにつれて、テストエラーは減少する。
論文 参考訳（メタデータ） (2023-03-24T17:03:40Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Amortized Inference for Causal Structure Learning [72.84105256353801]
因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。
本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。
我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
論文 参考訳（メタデータ） (2022-05-25T17:37:08Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Memorizing without overfitting: Bias, variance, and interpolation in
over-parameterized models [0.0]
バイアス分散トレードオフは教師あり学習における中心的な概念である。
現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
論文 参考訳（メタデータ） (2020-10-26T22:31:04Z) - Deducing neighborhoods of classes from a fitted model [68.8204255655161]
本稿では,新しいタイプの解釈可能な機械学習手法を提案する。
量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。
基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
論文 参考訳（メタデータ） (2020-09-11T16:35:53Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。