論文の概要: Debiasing Random Oblique Projections for Subsampled OLS and Fast CUR in High Dimensions

• arxiv url: http://arxiv.org/abs/2605.24955v1
• Date: Sun, 24 May 2026 09:11:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.541764
• Title: Debiasing Random Oblique Projections for Subsampled OLS and Fast CUR in High Dimensions
• Title（参考訳）: サブサンプリングOLSと高速CURの高次元におけるランダム斜め射影の偏り
• Authors: Chengmei Niu, Sachin Garg, Michał Dereziński, Zhenyu Liao,
• Abstract要約: 高次元におけるランダム斜め射影に対する統一的非漸近理論を開発する。 提案手法は,古典的な部分空間埋め込み型解析で見落とされ,体系的な統計的バイアスを生じさせることを示す。
• 参考スコア（独自算出の注目度）: 2.848519514149237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Random sampling is a fundamental tool in modern machine learning and numerical linear algebra for reducing the computational cost of large-scale matrix problems. Existing analyses, however, rely primarily on subspace embedding guarantees, which do not precisely characterize the statistical bias of nonlinear random oblique projections induced by sampling, which arises ubiquitously in subsampled least squares and fast low-rank approximation methods. Because (pseudo)inversion is nonlinear, these random oblique projections can be systematically biased even when the underlying sketch is unbiased, thereby introducing hidden bias into downstream least squares and low-rank approximation solutions. In this work, we develop a unified non-asymptotic theory for random oblique projections in high dimensions. We show that standard random sampling schemes generally induce a systematic statistical bias overlooked by classical subspace embedding-style analyses, and we propose a principled debiasing framework to correct it. We illustrate the power of the theory through two canonical applications. For subsampled least squares, we obtain sharp bias--variance characterizations, reveal previously unrecognized statistical suboptimality in widely used sampling schemes, and identify when debiasing yields provable improvements. For fast CUR decomposition, we develop a debiased approach with improved approximation accuracy. Numerical experiments further validate our theoretical findings.
• Abstract（参考訳）: ランダムサンプリングは、大規模行列問題の計算コストを削減するため、現代の機械学習と数値線形代数の基本的なツールである。 しかし、既存の分析は主に部分空間埋め込み保証に依存しており、サンプリングによって誘導される非線形ランダムな斜め射の統計的バイアスを正確に特徴づけるものではない。 擬似)反転は非線形であるため、これらのランダムな斜め射影は、基礎となるスケッチが偏りのない場合でも体系的に偏りを呈し、従って下流の最小二乗および低ランク近似解に隠れ偏りを導入することができる。 本研究では、高次元におけるランダム斜め射影に対する統一的非漸近理論を開発する。 提案手法は,古典的部分空間埋め込み型解析で見過ごされる体系的統計的バイアスを一般化し,これを補正する原理的偏りの枠組みを提案する。 2つの正準応用を通して理論の力を説明する。 標本化された最小二乗に対して、鋭いバイアス分散特性を求め、広く使われているサンプリングスキームにおいて、未認識の統計的準最適性を明らかにし、デバイアスが証明可能な改善をいつ得られるかを明らかにする。 高速CUR分解のために,近似精度を向上した脱バイアス手法を開発した。 数値実験は我々の理論的な結果をさらに検証する。

関連論文リスト

• On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization [57.179679246370114]
  既存の手法の潜在的な制限は、ステップサイズが提案されない限り、ほとんどの摂動推定器に固有のバイアスである。 本稿では, 良好な構成を維持しつつ, バイアスを排除した非バイアス勾配スケーリング推定器のファミリーを提案する。
  論文  参考訳（メタデータ） (2025-10-22T18:25:43Z)
• Fundamental Bias in Inverting Random Sampling Matrices with Application to Sub-sampled Newton [43.55440953429919]
  逆バイアス(英: inversion bias)とは、ランダムスケッチ自体の非バイアスにもかかわらず、ランダムスケッチの逆は非バイアスにならない現象である。 このバイアスは、さまざまな機械学習パイプラインでランダムスケッチを使用する際の課題を示す。 本研究では,一様および非一様レバレッジに基づくランダムサンプリング法と,構造化されたランダムプロジェクションに対して,逆バイアスを補正する方法を示す。
  論文  参考訳（メタデータ） (2025-02-19T09:49:38Z)
• Spectrum-Aware Debiasing: A Modern Inference Framework with Applications to Principal Components Regression [1.342834401139078]
  本稿では,高次元回帰のための新しい手法であるSpectrumAware Debiasingを紹介する。 我々のアプローチは、構造的、重く、低ランクな構造に関する問題に適用できる。 シミュレーションおよび実データ実験により本手法を実証する。
  論文  参考訳（メタデータ） (2023-09-14T15:58:30Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Distributed Sketching for Randomized Optimization: Exact Characterization, Concentration and Lower Bounds [54.51566432934556]
  我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。 ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
  論文  参考訳（メタデータ） (2022-03-18T05:49:13Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization [94.18714844247766]
  ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。 本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-02T21:01:13Z)
• Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
  我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。 我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。 また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
  論文  参考訳（メタデータ） (2020-02-16T09:01:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。