論文の概要: Double descent for least-squares interpolation on contaminated data: A simulation study

• arxiv url: http://arxiv.org/abs/2605.21494v1
• Date: Wed, 15 Apr 2026 16:31:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 12:34:33.98355
• Title: Double descent for least-squares interpolation on contaminated data: A simulation study
• Title（参考訳）: 汚染データに対する最小二乗補間のための二重降下:シミュレーションによる研究
• Authors: Tino Werner,
• Abstract要約: 二重降下」は、ある複雑性モデルが到達した後に一般化誤差が減少することを示している。 我々は、非常にロバストでない最小二乗推定器の性能を、いくつかの頑健な代替品と比較する。 大きなオーバーパラメトリゼーションは実際には二重降下現象を許容し、最小二乗補間器の非常に良い一般化性能をもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Overparametrized models can exhibit an excellent generalization performance, although they should be prone to overfitting according to classical statistical theory. The discovery of the "double descent", indicating that the generalization error decreases after a certain model complexity has been reached, opened a new line of research. Robust statistics considers statistical estimation on contaminated data, which, due to assumptions that do not hold on real data, let data points appear as outliers w.r.t. the assumed "ideal" distribution, potentially severely distorting any classical estimator. We address the question whether a double descent phenomenon can be observed in a linear regression setting with contaminated training data. We compare the performance of the highly non-robust least-squares interpolation estimator with several robust alternatives. It turns out that large overparametrization indeed allows for a double descent phenomenon, resulting in a very good generalization performance of the least-squares interpolator, surpassing that of the robust alternatives.
• Abstract（参考訳）: 過度にパラメータ化されたモデルは優れた一般化性能を示すが、古典的な統計理論により過度に適合する傾向がある。 二重降下」の発見は、あるモデルの複雑さが到達した後に一般化誤差が減少することを示し、新しい研究のラインを開いた。 ロバスト統計は汚染データに対する統計的推定を考察しており、これは実際のデータを保持しない仮定のため、データポイントを推定された「理想的」分布の外れ値として表示させ、古典的推定器を著しく歪ませる可能性がある。 汚染されたトレーニングデータを用いた線形回帰設定において、二重降下現象を観測できるかどうかという問題に対処する。 高い非破壊最小二乗補間推定器の性能といくつかの頑健な代替品を比較した。 大きなオーバーパラメトリゼーションは、実際には二重降下現象を許容し、結果として最小二乗補間器の非常に優れた一般化性能が、ロバストな代替品のそれを上回ることが判明した。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Distributed High-Dimensional Quantile Regression: Estimation Efficiency and Support Recovery [0.0]
  我々は高次元線形量子レグレッションのための分散推定とサポート回復に焦点をあてる。 元の量子レグレッションを最小二乗最適化に変換する。 効率的なアルゴリズムを開発し、高い計算と通信効率を享受する。
  論文  参考訳（メタデータ） (2024-05-13T08:32:22Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• The Predictive Normalized Maximum Likelihood for Over-parameterized Linear Regression with Norm Constraint: Regret and Double Descent [12.929639356256928]
  現代の機械学習モデルは、予測規則の複雑さとその一般化能力の間のトレードオフに従わないことを示す。 最近提案された予測正規化最大値 (pNML) は、個々のデータに対するmin-max後悔解である。 我々は,pNML後悔を合成データ上でのポイントワイド学習可能性尺度として使用し,二重発生現象の予測に成功していることを示す。
  論文  参考訳（メタデータ） (2021-02-14T15:49:04Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。