論文の概要: Generalization Error Estimation for Primal--Dual Algorithms in Non-Smooth Regression

• arxiv url: http://arxiv.org/abs/2608.13870v1
• Date: Fri, 14 Aug 2026 01:45:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.249319
• Title: Generalization Error Estimation for Primal--Dual Algorithms in Non-Smooth Regression
• Title（参考訳）: 非滑らか回帰におけるプリマル双対アルゴリズムの一般化誤差推定
• Abstract要約: 非滑らか回帰における原始双対アルゴリズムの一般化誤差のトラジェクトリワイズ推定について検討した。 シャンブル-ポックアルゴリズムと関連する原始-双分法を含む一般的なフレームワークを開発する。
• 参考スコア（独自算出の注目度）: 6.462588783417218
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies trajectory-wise estimation of generalization error for primal--dual algorithms in non-smooth regression. Motivating examples include \(\ell_1\)-penalized least absolute deviations regression and square-root Lasso regression, where the data-fitting loss is non-differentiable and existing risk estimators for gradient-type optimization paths do not apply directly. We develop a general recursive framework that includes the Chambolle--Pock algorithm and related primal--dual splitting methods. We estimate risk by correcting each in-sample fitted value with a weighted combination of past dual iterates. The ideal weights are Stein derivative contractions and depend on the design covariance. We construct replacement weights from observable derivative contractions of the fitted-signal trajectory, yielding a covariance-free, data-driven correction. For high-dimensional Gaussian designs and fixed finite iteration horizon, we prove finite-sample guarantees for both estimators. For square-root ridge, we further establish a matched-Gaussian universality result beyond Gaussian designs. Numerical experiments show that the proposed estimators accurately track the out-of-sample risk along finite optimization paths.
• Abstract（参考訳）: 本稿では,非平滑回帰法における原始双対アルゴリズムの一般化誤差のトラジェクトリワイズ推定について検討する。 モチベーションの例としては、(\ell_1\)-ペナル化最小絶対偏差回帰(英語版)と平方根ラッソ回帰(英語版)があり、データ適合損失は微分不可能であり、勾配型最適化パスに対する既存のリスク推定器は直接適用されない。 シャンブル-ポックアルゴリズムと関連する原始-双分法を含む一般的な再帰的フレームワークを開発する。 我々は,過去の2重繰り返しの重み付け組み合わせで各サンプル内嵌合値を修正することにより,リスクを推定する。 理想的な重みはシュタイン微分収縮であり、設計共分散に依存する。 適応信号軌道の観測可能な微分収縮から置換重みを合成し,共分散のないデータ駆動補正を行う。 高次元ガウス設計と固定有限反復地平線に対して、両推定器に対して有限サンプル保証を証明する。 平方根の尾根について、我々はさらにガウスの設計を超えて一致したガウスの普遍性の結果を確立する。 数値実験により,提案した推定器は有限の最適化経路に沿ってサンプル外リスクを正確に追跡することを示した。

関連論文リスト

• A Simple Approximation to the Distribution of the Ridge Regression Estimator [1.1678783855674757]
  有限サンプルでは、リッジ回帰推定器はバイアスと分散をトレードオフし、推定と予測誤差を低減する。 我々の近似は、$i)$ で推定子の正規化パラメータをサンプルサイズに比例して成長させる非標準に基づいている。 リッジ回帰推定器の正規化パラメータを選択するための2つの新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-08-03T17:28:17Z)
• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Refined Risk Bounds for Unbounded Losses via Transductive Priors [67.12679195076387]
  線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。 我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2024-10-29T00:01:04Z)
• Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression [4.150180443030652]
  本稿では,反復アルゴリズムの軌道に沿った反復の一般化誤差を正確に追跡する推定器を提案する。 結果は、ハマー回帰(英語版)、擬ハマー回帰(英語版)、および非滑らかな正則化子を持つそれらのペナル化変種(英語版)など、いくつかの例を通して説明される。
  論文  参考訳（メタデータ） (2024-10-03T16:13:42Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Sharp global convergence guarantees for iterative nonconvex optimization: A Gaussian process perspective [30.524043513721168]
  回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。 決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。 我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
  論文  参考訳（メタデータ） (2021-09-20T21:48:19Z)
• On Low-rank Trace Regression under General Sampling Distribution [9.699586426043885]
  クロスバリデード推定器は一般仮定でほぼ最適誤差境界を満たすことを示す。 また, クロスバリデーション推定器はパラメータ選択理論に着想を得た手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2019-04-18T02:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。