論文の概要: On the Accuracy of Approximate Leave-One-Out with Blockwise Nonsmooth Regularization in High-dimensions

• arxiv url: http://arxiv.org/abs/2610.27502v1
• Date: Tue, 20 Oct 2026 02:18:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.586231
• Title: On the Accuracy of Approximate Leave-One-Out with Blockwise Nonsmooth Regularization in High-dimensions
• Title（参考訳）: 高次元におけるブロックワイド非平滑規則化による近似左1アウトの精度について
• Abstract要約: Approximate leave-out (ALO) は、計算効率のよい計算手法である。 本研究では,ALO法を用いて,高次元比例規則におけるブロック間隔を助長する広範囲な非微分性刑罰の精度について検討した。
• 参考スコア（独自算出の注目度）: 66.35062523888662
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate leave-one-out (ALO) refers to methods that provide computationally efficient and statistically accurate approximations to leave-one-out risk estimation. These methods have recently attracted increased attention because of their connections to other important problems, including machine unlearning and data valuation. For empirical risk minimization, ALO methods often rely on a few Newton steps and therefore require smooth loss functions and regularizers. In high-dimensional problems, however, regularizers are frequently non-smooth. This has motivated the development of heuristic ALO methods for non-smooth regularization, whose empirical accuracy is often strong but whose theoretical justification remains limited. In this paper, we study the accuracy of a heuristic ALO method for a broad class of non-differentiable penalties that promote block sparsity in the proportional high-dimensional regime. Assuming uniformly bounded block sizes, we prove that the expected average absolute discrepancy between the exact leave-one-out loss and its ALO approximation is $O(\log^{3/2}(en)/\sqrt{n})$. Our proof technique differs substantially from existing approaches and relies on obtaining sharp bounds on the number of active groups whose status changes between the full-data and leave-one-out estimators. In addition to yielding stronger guarantees under weaker assumptions than prior work, our analysis provides new insight into the stability of sparse estimators under perturbations of the training data.
• Abstract（参考訳）: Approximate leave-out (ALO) は、計算効率が良く統計的に正確な近似法である。 これらの手法は、機械学習やデータ評価など、他の重要な問題との関連性から、近年注目を集めている。 経験的リスク最小化のために、ALO法はいくつかのニュートンステップに依存することが多く、従って滑らかな損失関数と正規化器を必要とする。 しかし、高次元問題では、正則化器はしばしば非滑らかである。 これは、経験的精度が強いが理論上の正当化が限られている非滑らかな正規化のためのヒューリスティックなALO法の開発を動機付けている。 本稿では, 比例的高次元状態におけるブロック間隔を助長する, 広範囲の非分化性ペナルティに対するヒューリスティックなALO法の精度について検討する。 一様有界なブロックサイズを仮定すると、正確な残余損失とALO近似との予想平均絶対差は$O(\log^{3/2}(en)/\sqrt{n})$である。 提案手法は既存手法と大きく異なり,全データと残余推定器間の状態が変化する能動群数に基づく急激な限界を求める。 従来の作業よりも弱い仮定の下で強い保証を得るのに加えて、トレーニングデータの摂動下でのスパース推定器の安定性に関する新たな知見を提供する。

関連論文リスト

• Robust low-rank estimation with multiple binary responses using pairwise AUC loss [0.0]
  複数のバイナリ応答は、多くの現代のデータ分析問題に現れる。 低ランクモデルはタスク間の遅延依存をエンコードする自然な方法を提供する。 既存のバイナリデータの方法は概ね可能性ベースであり、ポイントワイズ分類に重点を置いている。
  論文  参考訳（メタデータ） (2026-01-13T15:00:10Z)
• Generalized Linear Bandits: Almost Optimal Regret with One-Pass Update [70.38810219913593]
  非線形リンク関数を組み込んで古典線形モデルを拡張したコンテキスト型多武装バンディットフレームワークである一般化線形バンディット問題(GLB)について検討する。 GLBは現実世界のシナリオに広く適用できるが、その非線形性は計算効率と統計効率の両方を達成する上で大きな課題をもたらす。 本稿では,$mathcalO(1)$時間と1ラウンドあたりの空間複雑度をほぼ最適に再現するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-07-16T02:24:21Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [69.1820058966619]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Approximate Leave-one-out Cross Validation for Regression with $\ell_1$ Regularizers (extended version) [12.029919627622954]
  微分不可能な正則化をもつ一般化線形モデル族において、幅広い問題に対する新しい理論を提案する。 n/p と SNR が固定され有界である間、|ALO - LO| は p が無限大に進むにつれて 0 となることを示す。
  論文  参考訳（メタデータ） (2023-10-26T17:48:10Z)
• STEEL: Singularity-aware Reinforcement Learning [14.424199399139804]
  バッチ強化学習(RL)は、事前収集されたデータを利用して最適なポリシーを見つけることを目的としている。 本稿では,状態空間と行動空間の両方に特異性を持たせる新しいバッチRLアルゴリズムを提案する。 悲観主義といくつかの技術的条件を利用して、提案したアルゴリズムに対する最初の有限サンプル後悔保証を導出する。
  論文  参考訳（メタデータ） (2023-01-30T18:29:35Z)
• Tight Mutual Information Estimation With Contrastive Fenchel-Legendre Optimization [69.07420650261649]
  我々はFLOと呼ばれる新しい,シンプルで強力なコントラストMI推定器を提案する。 実証的に、我々のFLO推定器は前者の限界を克服し、より効率的に学習する。 FLOの有効性は、広範囲なベンチマークを用いて検証され、実際のMI推定におけるトレードオフも明らかにされる。
  論文  参考訳（メタデータ） (2021-07-02T15:20:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。