論文の概要: Dimension-free bounds in high-dimensional linear regression via error-in-operator approach
- arxiv url: http://arxiv.org/abs/2502.15437v1
- Date: Fri, 21 Feb 2025 13:07:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-24 16:10:12.379601
- Title: Dimension-free bounds in high-dimensional linear regression via error-in-operator approach
- Title（参考訳）: エラー・イン・オペレーター法による高次元線形回帰における次元自由境界
- Authors: Fedor Noskov, Nikita Puchkin, Vladimir Spokoiny,
- Abstract要約: ランダムな設計を伴う高次元線形回帰問題を考える。
我々は,設計共分散を直接見積もるのではなく,経験的リスク最小化に組み込む,エラー・イン・オペレータと呼ばれる新しい手法を提案する。
我々は過剰な予測リスクを拡大し、先行項と残りについて非漸近的次元自由境界を導出する。
- 参考スコア（独自算出の注目度）: 4.929399529593514
- License:
- Abstract: We consider a problem of high-dimensional linear regression with random design. We suggest a novel approach referred to as error-in-operator which does not estimate the design covariance $\Sigma$ directly but incorporates it into empirical risk minimization. We provide an expansion of the excess prediction risk and derive non-asymptotic dimension-free bounds on the leading term and the remainder. This helps us to show that auxiliary variables do not increase the effective dimension of the problem, provided that parameters of the procedure are tuned properly. We also discuss computational aspects of our method and illustrate its performance with numerical experiments.
- Abstract（参考訳）: ランダムな設計を伴う高次元線形回帰問題を考える。
我々は,設計共分散を$\Sigma$を直接見積もるのではなく,経験的リスク最小化に組み込む,エラー・イン・オペレータと呼ばれる新しい手法を提案する。
我々は過剰な予測リスクを拡大し、先行項と残りについて非漸近的次元自由境界を導出する。
このことは,プロシージャのパラメータが適切に調整されている場合,補助変数が問題の有効次元を増大させないことを示すのに役立つ。
また,本手法の計算的側面についても考察し,数値実験によりその性能について述べる。
関連論文リスト
- RieszBoost: Gradient Boosting for Riesz Regression [49.737777802061984]
本稿では,Riesz表現子を直接推定するために,その明示的な解析形式を必要とせず,新たな勾配向上アルゴリズムを提案する。
提案アルゴリズムは,様々な関数を対象とした間接推定手法と同等以上の性能を示す。
論文 参考訳（メタデータ） (2025-01-08T23:04:32Z) - Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。
我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文 参考訳（メタデータ） (2024-10-29T00:01:04Z) - Contrastive inverse regression for dimension reduction [0.0]
コントラッシブ・リバース・レグレッション (CIR) と呼ばれる, コントラッシブ・セッティングに特化して設計されたディメンション・リダクション法を提案する。
CIRは、非標準損失関数を持つスティーフェル多様体上で定義される最適化問題を導入する。
勾配勾配勾配に基づくアルゴリズムを用いて,CIRの局所最適収束を証明し,高次元データに対する競合手法よりも優れた性能を実証的に示す。
論文 参考訳（メタデータ） (2023-05-20T21:44:11Z) - Riemannian Optimization for Variance Estimation in Linear Mixed Models [0.0]
パラメータ空間の内在的幾何を利用した線形混合モデルにおけるパラメータ推定について、全く新しい見方をとる。
提案手法は,既存手法に比べて分散パラメータ推定精度が高い。
論文 参考訳（メタデータ） (2022-12-18T13:08:45Z) - Noise Estimation in Gaussian Process Regression [1.5002438468152661]
提案手法は, 相関誤差の分散と雑音の分散を, 限界確率関数の最大化に基づいて推定することができる。
従来のパラメータ最適化と比較して,提案手法の計算上の利点とロバスト性を示す。
論文 参考訳（メタデータ） (2022-06-20T19:36:03Z) - Distributed Sketching for Randomized Optimization: Exact
Characterization, Concentration and Lower Bounds [54.51566432934556]
我々はヘシアンの形成が困難である問題に対する分散最適化法を検討する。
ランダム化されたスケッチを利用して、問題の次元を減らし、プライバシを保ち、非同期分散システムにおけるストラグラーレジリエンスを改善します。
論文 参考訳（メタデータ） (2022-03-18T05:49:13Z) - Distributionally Robust Optimization with Markovian Data [8.126833795693699]
本研究では,不確実な問題パラメータの確率分布が不明なプログラムについて検討する。
本稿では,問題の目的関数と最適解を推定するために,データ駆動型分布法を提案する。
論文 参考訳（メタデータ） (2021-06-12T10:59:02Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Effective Dimension Adaptive Sketching Methods for Faster Regularized
Least-Squares Optimization [56.05635751529922]
スケッチに基づくL2正規化最小二乗問題の解法を提案する。
我々は、最も人気のあるランダム埋め込みの2つ、すなわちガウス埋め込みとサブサンプリングランダム化アダマール変換(SRHT)を考える。
論文 参考訳（メタデータ） (2020-06-10T15:00:09Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳（メタデータ） (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。