論文の概要: Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task

• arxiv url: http://arxiv.org/abs/2509.25216v1
• Date: Mon, 22 Sep 2025 16:41:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.167835
• Title: Evaluating Double Descent in Machine Learning: Insights from Tree-Based Models Applied to a Genomic Prediction Task
• Title（参考訳）: 機械学習における二重発色の評価:ゲノム予測タスクに応用した木モデルからの考察
• Authors: Guillermo Comesaña Cimadevila,
• Abstract要約: 最近の研究は、いわゆる二重降下現象のしきい値上昇を超えて、テストエラーの第2降下の概念を導入している。 二重降着は、2つの軸をまたいだ複雑さが共同でスケールする場合にのみ、一貫して現れることを示す。 本研究は,一般化行動の解析において,モデル複雑性を多次元構造として扱うことの重要性を強調した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical learning theory describes a well-characterised U-shaped relationship between model complexity and prediction error, reflecting a transition from underfitting in underparameterised regimes to overfitting as complexity grows. Recent work, however, has introduced the notion of a second descent in test error beyond the interpolation threshold-giving rise to the so-called double descent phenomenon. While double descent has been studied extensively in the context of deep learning, it has also been reported in simpler models, including decision trees and gradient boosting. In this work, we revisit these claims through the lens of classical machine learning applied to a biological classification task: predicting isoniazid resistance in Mycobacterium tuberculosis using whole-genome sequencing data. We systematically vary model complexity along two orthogonal axes-learner capacity (e.g., Pleaf, Pboost) and ensemble size (i.e., Pens)-and show that double descent consistently emerges only when complexity is scaled jointly across these axes. When either axis is held fixed, generalisation behaviour reverts to classical U- or L-shaped patterns. These results are replicated on a synthetic benchmark and support the unfolding hypothesis, which attributes double descent to the projection of distinct generalisation regimes onto a single complexity axis. Our findings underscore the importance of treating model complexity as a multidimensional construct when analysing generalisation behaviour. All code and reproducibility materials are available at: https://github.com/guillermocomesanacimadevila/Demystifying-Double-Descent-in-ML.
• Abstract（参考訳）: 古典的学習理論は、モデル複雑性と予測誤差の間の、よく特徴付けられたU字型関係を記述し、過度なパラメータ化された状態における過度な適合から、複雑さが増大するにつれて過度な適合へと移行したことを反映している。 しかし、最近の研究は、いわゆる二重降下現象の補間しきい値の上昇を超えて、テストエラーの第2降下の概念を導入している。 深層学習の文脈において、二重降下は広範囲に研究されているが、決定木や勾配向上など、より単純なモデルでも報告されている。 そこで本研究では, ゲノム全塩基配列データを用いた結核菌のイソニアジド耐性の予測という, 生物分類タスクに応用された古典的機械学習のレンズを通して, これらの主張を再考する。 2つの直交軸-リーナー容量(例えば、Pleaf, Pboost)とアンサンブルサイズ(例えば、ペンス)に沿ったモデル複雑性を体系的に変化させ、複雑さがこれらの軸にわたって一緒にスケールされたときにのみ、二重降下が一貫して現れることを示す。 どちらの軸も固定されている場合、一般化の振る舞いは古典的なU字型やL字型に回帰する。 これらの結果は、合成ベンチマークで再現され、展開仮説(英語版)を支持する。 本研究は,一般化行動の解析において,モデル複雑性を多次元構造として扱うことの重要性を強調した。 すべてのコードと再現性材料は、https://github.com/guillermocomesanacimadevila/Demystifying-Double-Descent-in-MLで入手できる。

関連論文リスト

• The Double Descent Behavior in Two Layer Neural Network for Binary Classification [46.3107850275261]
  最近の研究では、二重降下現象と呼ばれるモデルテスト誤差に関する驚くべき概念が観察されている。 本研究の目的は,モデルサイズの異なるモデルテスト誤差の二重降下挙動の背後にある数学的理論を観察し,検討することである。
  論文  参考訳（メタデータ） (2025-04-27T20:29:24Z)
• Towards understanding epoch-wise double descent in two-layer linear neural networks [11.210628847081097]
  2層線形ニューラルネットワークにおけるエポックワイズ二重降下について検討した。 余剰モデル層で出現するエポックな2重降下の要因を同定した。 これは真に深いモデルに対するエポックワイズ二重降下の未同定因子に関するさらなる疑問を提起する。
  論文  参考訳（メタデータ） (2024-07-13T10:45:21Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Asymptotics of Ridge Regression in Convolutional Models [26.910291664252973]
  特定の高次元状態にある尾根推定器の推定誤差の正確な式を導出する。 畳み込みモデルに対する実験では, 二重降下現象を示し, 理論結果が実験と一致することを示した。
  論文  参考訳（メタデータ） (2021-03-08T05:56:43Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。