論文の概要: Optimal spectral shrinkage via Krylov approximation

• arxiv url: http://arxiv.org/abs/2611.02122v1
• Date: Sun, 01 Nov 2026 18:56:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:20:35.914625
• Title: Optimal spectral shrinkage via Krylov approximation
• Title（参考訳）: クリロフ近似による最適スペクトル収縮
• Abstract要約: 我々は、未知の共分散構造に適応するデータ駆動スペクトル推定器であるKrylov fit (RTK)を提案する。 単一セルシークエンシングデータや大規模ニューラル記録への応用において,提案手法は競合する推定値よりも高い予測精度を達成した。
• 参考スコア（独自算出の注目度）: 3.6141923154451505
• License:
• Abstract: Spectral shrinkage encompasses a broad family of estimators for high-dimensional linear regression that regularize estimation and prediction by applying spectral filters to the sample covariance matrix. Despite its widespread use, achieving oracle-optimal prediction risk under general covariance structures remains challenging, as the oracle filter requires unknown population quantities and has a closed form only for specific covariance models such as isotropic and spiked models. We propose \textit{risk-targeted Krylov fitting} (RTK), a data-driven spectral estimator that adapts to the unknown covariance structure and attains the oracle risk asymptotically. Like partial least squares, RTK operates in an $m$-dimensional Krylov space, but it targets the oracle risk directly by minimizing the leave-one-out risk, which we compute exactly without refitting the model $n$ times. Under general distributions and covariance structures, RTK attains the optimal prediction risk in the Krylov space up to $O(1/n)$. Furthermore, its risk approaches that of the optimal analytic filter with $m$ of order $\log n$. In simulations over a wide range of covariance structures, RTK and a truncated variant were robust to the choice of $m$ and consistently among the spectral estimators closest to the oracle. In applications to single-cell sequencing data and large-scale neural recordings, the proposed methods achieved higher prediction accuracy than competing estimators on most tasks.
• Abstract（参考訳）: スペクトル収縮は、スペクトルフィルタをサンプル共分散行列に適用することにより、推定と予測を規則化する高次元線形回帰のための広い種類の推定器を含む。 一般共分散構造下でのオラクル最適予測リスクの達成は、広く利用されているにもかかわらず、オラクルフィルタは未知の人口数を必要とし、等方性モデルやスパイクモデルのような特定の共分散モデルに対してのみ閉じた形式を持つため、依然として困難である。 我々は、未知の共分散構造に適応し、オラクルリスクを漸近的に達成するデータ駆動スペクトル推定器である「textit{risk-targeted Krylov fit} (RTK)」を提案する。 部分最小二乗法と同様に、RTK は$m$次元のクリロフ空間で作用するが、モデルに$n$倍の補正を加えることなく正確に計算する残余リスクを最小化することで、直接オラクルのリスクを狙う。 一般分布と共分散構造の下で、RTKはクリロフ空間の最適予測リスクを最大$O(1/n)$に達成する。 さらに、そのリスクは、$m$ of order $\log n$で最適解析フィルタにアプローチする。 広範囲の共分散構造に関するシミュレーションでは、RTK と truncated の変種は$m$ の選択に頑健であり、オラクルに最も近いスペクトル推定器の中で一貫して安定であった。 単一セルシークエンシングデータや大規模ニューラル記録への応用において、提案手法は、ほとんどのタスクにおいて競合する推定器よりも高い予測精度を達成した。

関連論文リスト

• Adaptive Robust Confidence Sets in High Dimensions [60.353542776481596]
  本研究では,不確実性を同時に定量化することにより,情報理論的に最適な適応信頼セットを構築することができることを示す。 統計的には最適であるが、この構成は計算的に不可能である。
  論文  参考訳（メタデータ） (2026-10-11T16:00:46Z)
• Adaptive Mean Estimation by In-Context Learning: A Gradient-Flow Analysis [5.932909191486171]
  従来の適応型ネットワーク(PFN)は、真のデータ生成モデルに合わせた手法と同様に、統計的適応性を持つ。 制御された位置推定問題において,そのような適応性がどのように学習されるかを検討する。
  論文  参考訳（メタデータ） (2026-10-06T05:57:10Z)
• Estimating Mixture Distributions via Stochastic Mirror Descent [15.58350224981605]
  本研究では, クロスエントロピー損失を最小化する混合モデルを用いて, サンプルから未知分布を推定する問題を再検討する。 ミラー降下(SMD)アルゴリズムから導出した推定器群を提案する。 軽度条件下では,提案した推定器がほぼ最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2026-05-24T08:19:42Z)
• Pack only the essentials: Adaptive dictionary learning for kernel ridge regression [69.32538992633842]
  カーネルリッジ回帰 (KRR) の大きな限界の1つは、n 個のサンプルに対するカーネル行列 K_n の保存と操作が O(n2) 空間を必要とすることである。 INK-Estimateはデータセットを漸進的に処理し、RSS、有効次元、Nystrom近似をオンザフライで更新するアルゴリズムである。 本稿では,INK-Estimateをベースとした非正規化RSSを用いた新しいアルゴリズムであるSQUEAKを紹介する。
  論文  参考訳（メタデータ） (2026-04-24T09:22:09Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Sparse PCA with Oracle Property [115.72363972222622]
  新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。 我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
  論文  参考訳（メタデータ） (2023-12-28T02:52:54Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Fast Batch Nuclear-norm Maximization and Minimization for Robust Domain Adaptation [154.2195491708548]
  ランダムに選択されたデータバッチの分類出力行列の構造について検討し,予測可能性と多様性について検討した。 本稿では,目標出力行列上で核ノルムを行い,目標予測能力を向上するBatch Nuclear-norm Maximization and Minimizationを提案する。 実験により,本手法は3つの典型的なドメイン適応シナリオにおいて適応精度とロバスト性を高めることができることが示された。
  論文  参考訳（メタデータ） (2021-07-13T15:08:32Z)
• Prediction in latent factor regression: Adaptive PCR and beyond [2.9439848714137447]
  我々は、大きなクラスの予測子のリスクバウンドを確立するマスター定理を証明する。 主定理を用いて、最小ノルム補間予測器の既知のリスク境界を復元する。 理論的結果を裏付け,補完するための詳細なシミュレーション研究を締めくくった。
  論文  参考訳（メタデータ） (2020-07-20T12:42:47Z)
• Sharp Statistical Guarantees for Adversarially Robust Gaussian Classification [54.22421582955454]
  逆向きに頑健な分類の過剰リスクに対する最適ミニマックス保証の最初の結果を提供する。 結果はAdvSNR(Adversarial Signal-to-Noise Ratio)の項で述べられており、これは標準的な線形分類と逆数設定との類似の考え方を一般化している。
  論文  参考訳（メタデータ） (2020-06-29T21:06:52Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。