論文の概要: High-Dimensional Interpolators Can Be Fragile: Heavy Tails and High-Dimensional Large Deviations

• arxiv url: http://arxiv.org/abs/2607.09547v1
• Date: Fri, 10 Jul 2026 15:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.900807
• Title: High-Dimensional Interpolators Can Be Fragile: Heavy Tails and High-Dimensional Large Deviations
• Title（参考訳）: 高次元補間器は壊れやすい:重機と高次元大偏差
• Abstract要約: 大偏差法による高次元線形補間器について検討する。 まず、隆起のない回帰のリスクは、重端な振る舞いを示す可能性があることを示す。 我々はこの現象を大偏差率のレベルで定量化する。
• 参考スコア（独自算出の注目度）: 3.540245474029962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-dimensional interpolation is common in modern machine learning, but its tail risk is less understood than its expected prediction risk. Existing theory shows that interpolating models can perform well in expectation, yet such guarantees do not determine the probability of rare, severe errors. In operations research and stochastic decision-making applications, rare estimation errors can have disproportionate downstream effects, so tail behavior matters alongside average performance. We study the fragility of high-dimensional linear interpolators using large-deviation methods. We focus on ridgeless regression and compare it with ridge-regularized estimators. We first show that the risk of ridgeless regression can exhibit heavy-tailed behavior: although its expected risk may remain well controlled, its upper tail can decay much more slowly than that of regularized alternatives. We then quantify this phenomenon at the level of large-deviation rates. In the regime we study, ridge regularization suppresses fixed right-tail deviations at the $n^2$ scale, whereas ridgeless regression has only $n\log n$-scale decay, where $n$ is the sample size. This gap shows that interpolation can be statistically fragile even when it is accurate on average. Thus regularization affects the frequency of rare, high-impact risk events in addition to the usual bias-variance tradeoff.
• Abstract（参考訳）: 高次元補間は現代の機械学習では一般的であるが、その尾のリスクは予測される予測リスクよりも理解されていない。 既存の理論では、補間モデルは期待通りに機能するが、そのような保証は稀で深刻なエラーの確率を決定できない。 操作研究や確率的意思決定アプリケーションでは、稀な推定誤差が下流効果に相応しいため、平均的な性能とともに尾の挙動が重要となる。 本研究では,高次元線形補間器のフラクティリティを大偏差法を用いて検討する。 リッジレス回帰に着目し、リッジ規則化推定器と比較する。 予測されるリスクは十分に制御されているかもしれないが、上尾は正規化された代替よりもはるかに遅く崩壊する可能性がある。 そして、この現象を大きな偏差率のレベルで定量化する。 本研究では,尾根の正則化は,n^2$スケールでの固定右尾偏差を抑えるが,尾根なし回帰はn$スケールの崩壊しかなく,n$はサンプルサイズである。 このギャップは、平均的に正確であっても補間が統計的に脆弱であることを示している。 このように正規化は、通常のバイアス分散トレードオフに加えて、稀で高影響のリスク事象の頻度に影響を与える。

関連論文リスト

• Double descent for least-squares interpolation on contaminated data: A simulation study [0.0]
  二重降下」は、ある複雑性モデルが到達した後に一般化誤差が減少することを示している。 我々は、非常にロバストでない最小二乗推定器の性能を、いくつかの頑健な代替品と比較する。 大きなオーバーパラメトリゼーションは実際には二重降下現象を許容し、最小二乗補間器の非常に良い一般化性能をもたらすことが判明した。
  論文  参考訳（メタデータ） (2026-04-15T16:31:23Z)
• Statistical Estimation of Adversarial Risk in Large Language Models under Best-of-N Sampling [50.872910438715486]
  大規模言語モデル(LLM)は、通常、単一ショットまたは低予算の逆のプロンプトの下で安全性を評価する。 我々は,Best-of-Nサンプリングの下でのジェイルブレイク脆弱性をモデル化するための,スケーリング対応のリスク推定手法であるSABERを提案する。
  論文  参考訳（メタデータ） (2026-01-30T06:54:35Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Robust deep learning from weakly dependent data [0.0]
  本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。 これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
  論文  参考訳（メタデータ） (2024-05-08T14:25:40Z)
• A Stable and Efficient Covariate-Balancing Estimator for Causal Survival Effects [33.62020029799266]
  本研究では、条件に依存しない検閲データにおける生存因果効果の推定の問題に対処する。 これは、小さな推定確率の逆数の使用と、その結果の推定誤差の増幅に対処する。 合成および半合成データに関する実験において理論的結果を検証する。
  論文  参考訳（メタデータ） (2023-10-01T00:04:29Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors [10.857775300638831]
  より一般的な回帰誤差仮定の下で予測リスクと推定リスクについて検討する。 その結果,パラメータ化の利点は時系列,パネル,グループ化データにまで拡張できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T10:04:20Z)
• On Regression in Extreme Regions [0.7974430263940756]
  我々は、余変数の観測されていない尾に外挿、あるいは領域外一般化を目的とした統計的学習理論の枠組みを確立する。 本稿では,Vapnik-Chervonenkisクラスから選択した予測器を用いて,非パラメトリック最小二乗回帰のスタイリング問題に対処する。 本研究では, 余剰リスクの観点から, テール領域の予測性能を定量化し, 明確なバイアス分散分解を伴う有限サンプルリスクとして提示する。
  論文  参考訳（メタデータ） (2023-03-06T12:55:38Z)
• The Implicit Bias of Benign Overfitting [31.714928102950584]
  良性過剰適合は、予測器がほぼ最適の損失を達成しながら、ノイズの多いトレーニングデータに完全に適合する場所である。 標準的な線形回帰を超えてこれを拡張できることを示します。 そして、分類問題に目を向け、状況がずっと有利であることを示す。
  論文  参考訳（メタデータ） (2022-01-27T12:49:21Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression [91.3373131262391]
  不確かさが唯一の確実性である。 伝統的に、直接回帰定式化を考慮し、ある確率分布の族に出力空間を変更することによって不確実性をモデル化する。 現在のレグレッション技術における不確実性をモデル化する方法は、未解決の問題である。
  論文  参考訳（メタデータ） (2021-03-25T06:56:09Z)
• SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression [68.66245730450915]
  実用データセットに対する予測の偏見を回避し、頻繁な不確実性を推定する改善された手法を開発している。 私たちの主な貢献は、推定と推論の計算時間をマグニチュードの順序で短縮する収束保証付き信号強度の推定器SLOEです。
  論文  参考訳（メタデータ） (2021-03-23T17:48:56Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。