論文の概要: Optimal ridge regularization revisited

• arxiv url: http://arxiv.org/abs/2605.28679v1
• Date: Wed, 27 May 2026 16:12:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.200647
• Title: Optimal ridge regularization revisited
• Title（参考訳）: 最適尾根正則化の再検討
• Authors: Jack Timmermans, Sergio A. Alvarez,
• Abstract要約: 固定値X$設定における生成パラメータから最適正則化強度を数値計算する。 提案手法は, サンプルサイズ, アスペクト比, ノイズレベルに対して, ほぼ最適確率-$X$の一般化が得られることを示す。
• 参考スコア（独自算出の注目度）: 3.437656066916039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider $L^2$-regularized linear (ridge) regression over a finite data sample $X$ with bounded covariance and linear prediction targets $y$ with additive isotropic noise of finite variance. We present an iterative procedure to compute the optimal regularization strength numerically from the generative parameters in the fixed-$X$ setting and prove its convergence at limited noise levels. Our experimental evaluation over synthetic data shows that the proposed procedure combined with sample-based parameter estimates attains near-optimal random-$X$ generalization across a wide range of sample sizes, aspect ratios, and noise levels, at an added computational cost equivalent to one preliminary ridge regression in the underparameterized regime and two in the overparameterized case.
• Abstract（参考訳）: 有限データサンプルに対する$L^2$-正則化線形(リッジ)回帰を、有界共分散を持つ$X$と、有限分散の付加等方性雑音を持つ$y$とみなす。 固定値のX$設定における生成パラメータから最適正則化強度を数値的に計算し,その収束性を限られた雑音レベルで証明する反復的手法を提案する。 提案手法とサンプルベースパラメータ推定を組み合わせた実験により, パラメータ推定手法は, サンプルサイズ, アスペクト比, ノイズレベルを多岐にわたるほぼ最適確率-$X$の一般化を実現し, 加えて, 過パラメータ化の場合と過パラメータ化の場合とで, 1つの予備リッジ回帰に相当する計算コストが加算されることが示唆された。

関連論文リスト

• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Distributed Estimation and Inference for Semi-parametric Binary Response Models [8.309294338998539]
  本稿では,分散コンピューティング環境下での半パラメトリック二値選択モデルの最大スコア推定について検討する。 直感的な分割・対数推定器は計算コストが高く、機械数に対する非正規制約によって制限される。
  論文  参考訳（メタデータ） (2022-10-15T23:06:46Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Tuning Stochastic Gradient Algorithms for Statistical Inference via Large-Sample Asymptotics [18.93569692490218]
  勾配アルゴリズムのチューニングは、一般化可能な理論ではなく、試行錯誤に基づくことが多い。 固定ステップの大きい平均化は、チューニングパラメータの選択に対して堅牢であることを示す。 我々は他の勾配モンテカルロアルゴリズムの体系的解析の基礎を築いた。
  論文  参考訳（メタデータ） (2022-07-25T17:58:09Z)
• Noise Covariance Estimation in Multi-Task High-dimensional Linear Models [8.807375890824977]
  本稿では,タスク間のノイズが相関するマルチタスク高次元線形回帰モデルについて検討する。 回帰係数をニュアンスパラメータとして扱い、マルチタスク弾性ネットとマルチタスクラッソ推定器を用いてニュアンスを推定する。 適切な条件下では、提案した推定器は「おかしな」推定器と同じ収束率に達する。
  論文  参考訳（メタデータ） (2022-06-15T02:37:37Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。