論文の概要: De-floored Principal Component Regression: When Rank Selection Alone Is Insufficient for Prediction
- arxiv url: http://arxiv.org/abs/2607.16638v1
- Date: Sat, 18 Jul 2026 04:50:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-21 18:48:37.214219
- Title: De-floored Principal Component Regression: When Rank Selection Alone Is Insufficient for Prediction
- Title(参考訳): 非床の主成分回帰:ランク選択が予測に不十分なとき
- Abstract要約: 主成分回帰はスペクトルカットオフを選択して高次元予測を正則化する。
本研究は,全位階の通常のPCR予測リスクの低い一様構造と高確率dPCR上界を証明した。
分母のインフレーションは第一のスペクトル質量で制御されるのに対し、補正のクリーンな予測コストは二乗スペクトル質量で制御される。
- 参考スコア(独自算出の注目度): 11.327284468812948
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Principal component regression (PCR) regularizes high-dimensional prediction by choosing a spectral cutoff, but rank selection cannot correct systematic inflation of the retained empirical eigenvalues. We study clean Gaussian random designs in which the aggregate covariance tail creates a nearly scalar sample-space floor comparable to the predictive head scale. De-floored principal component regression (dPCR) retains the cutoff and subtracts an estimated floor from the retained denominators. We prove an ordinary-PCR prediction-risk lower bound uniform over all ranks and a high-probability dPCR upper bound. When the floor is sharp and inexpensive to remove in population prediction risk, the conditional risk of dPCR is asymptotically negligible relative to that of the best ordinary PCR rank. An exact risk decomposition explains the separation: denominator inflation is governed by first spectral mass, whereas the clean prediction cost of correction is governed by squared spectral mass. A same-sample trimmed-mean floor estimate attains the oracle dPCR upper-bound rate at a prespecified rank, and the separation persists under approximate predictive alignment when the tail prediction-energy fraction vanishes. Separate pointwise fixed-aspect formulas show that the risk-optimal positive scalar correction improves rank-$1$ PCR, whereas mean-floor subtraction is generally not optimal for a broad Marchenko--Pastur bulk.
- Abstract(参考訳): 主成分回帰(PCR)はスペクトルカットオフを選択することによって高次元の予測を規則化するが、ランク選択は保持された経験的固有値の体系的なインフレーションを補正することはできない。
集合共分散テールが予測ヘッドスケールに匹敵するほぼスカラーなサンプル空間フロアを生じるクリーンなガウス的ランダム設計について検討する。
脱床主成分回帰(dPCR)はカットオフを保持し、保持された分母から推定フロアを減じる。
本研究は,全位階の通常のPCR予測リスクの低い一様構造と高確率dPCR上界を証明した。
床が鋭く安価で、人口予測リスクを取り除くと、dPCRの条件付きリスクは、最も一般的なPCRランクと比較して漸近的に無視される。
分母のインフレーションは第一のスペクトル質量で制御されるのに対し、補正のクリーンな予測コストは二乗スペクトル質量で制御される。
同サンプルトリミング平均床推定は、あらかじめ指定されたランクでオラクルdPCR上界率を達成し、尾の予測エネルギー分率がなくなると、その分離は近似的な予測アライメントの下で継続する。
一方, リスク最適正のスカラー補正は, 平均フロアの減算は広義のマルテンコ-パストゥルバルクでは最適ではない。
関連論文リスト
- Characterizing Heterogeneous Rates in Finite Mixture Estimation via Partial Optimal Transport [88.55403215843967]
改良された局所および大域収束保証を得るためのボロノイ系部分最適輸送(VPOT)は、混合測定の最大極大推定器である。
結果は、混合比例が真の混合成分の数についてのゼロまたは以前の知識から一様に制限されることなく、任意の固定次元で保持される。
論文 参考訳(メタデータ) (2026-09-15T04:32:53Z) - Diagonal Attenuation: A Finite-Sample Correction for PCA [4.568037304404448]
主成分分析は、限られたデータから共分散行列が推定されるとき、その集団目標から遠ざかることができる。
対角線減衰は, 試料の相互共分散を保ちながら, 座標的に試料の分散を減少させる。
局所的な画像パッチ、音声スペクトル、およびスマートフォンの加速度によって、マスク由来および直接減衰は2つの適合サンプル予算の下でPCAを改善する。
論文 参考訳(メタデータ) (2026-09-05T01:16:07Z) - When Proxy Prediction Becomes Equation Reconstruction: Diagnostics and Residual Learning for Factor-Derived Proxy Supervision [0.0]
高い予測精度は、分解因子情報に対する堅牢性よりもむしろプロキシ生成方程式の再構成を反映する可能性がある。
本稿では, 劣化形式参照, 古典的木系ベースライン, 一致した直接予測, 公式予測, 文脈改善, テールエラー解析, 堅牢性スコアリングを組み合わせた診断フレームワークを提案する。
次に、劣化した公式推定を予測アンカーとして保持し、適応的にゲートされた文脈補正を学習する式保存残留フレームワークであるRASPLを提案する。
論文 参考訳(メタデータ) (2026-08-05T02:54:34Z) - Prediction-Only Distillation in Linear and Logistic Regression [61.07540493350384]
自己蒸留は典型的には、学生が教師の元々のトレーニングインプットで再訓練されるときに研究される。
我々は、新しいX予測混合方式により、この予測のみの方式でSDを研究する。
二項ロジスティック回帰では、予測混合は教師と純蒸留の両方より優れていることを示す。
論文 参考訳(メタデータ) (2026-07-16T20:45:56Z) - PIT-SUN: A Deployable Empirical Marginal Transform Framework with Expectation-Consistent Recovery for Regression in Recommender Systems [17.665661827812205]
原位置条件の期待値を推定することは、価値駆動のレコメンデーションシステムの中心である。
標準MSEは原理上は予想と一致しないが、その勾配は重尾、ゼロインフレード、マルチモーダルな目標に対して不安定になる。
デプロイ可能な経験的限界回復フレームワークであるPIT-SUNを提案する。
論文 参考訳(メタデータ) (2026-07-09T08:00:06Z) - DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。
DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。
アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
論文 参考訳(メタデータ) (2026-03-09T09:21:29Z) - Distribution-informed Efficient Conformal Prediction for Full Ranking [22.380815981596403]
不確実性の定量化は、現実世界のアプリケーションにおけるランキングモデルの安全な配置に不可欠である。
最近の研究は、完全ランク付けシナリオにおける共形予測を用いた厳密なソリューションを提供し、テスト項目の絶対ランクの予測セットを構築することを目的としている。
非整合性スコアの正確な分布を導出して効率的な予測セットを生成する分散インフォームド・コンフォーマルランキング(DCR)を提案する。
論文 参考訳(メタデータ) (2026-01-30T16:16:44Z) - Beyond Uncertainty Sets: Leveraging Optimal Transport to Extend Conformal Predictive Distribution to Multivariate Settings [0.14504054468850666]
コンフォーマル予測(CP)は、有限サンプルカバレッジを保証するモデル出力に対する不確実性集合を構成する。
最適な割り当ては、スコア空間の固定された多面体分割において一括的に一定であることを示す。
これにより、予測セット全体を魅力的に特徴付けることができ、予測セットのより深い制限に対処するための機械を提供する。
論文 参考訳(メタデータ) (2025-11-19T05:59:01Z) - Calibrated Principal Component Regression [5.890015449615021]
主成分回帰(PCR)は、真の回帰ベクトルが保持主成分(PC)の外側の質量を持つとき、乱れバイアスを引き起こす
そこで我々は,PCサブスペースに先立って低分散を学習し,まず中心となるTikhonovステップを通じて,元の特徴空間のモデルを校正する校正主成分回帰(CPCR)を提案する。
論文 参考訳(メタデータ) (2025-10-21T19:01:42Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳(メタデータ) (2025-10-06T17:58:01Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳(メタデータ) (2023-12-28T02:52:54Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳(メタデータ) (2023-09-15T22:06:29Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - On Model Identification and Out-of-Sample Prediction of Principal
Component Regression: Applications to Synthetic Controls [20.96904429337912]
固定設計による高次元誤差変数設定における主成分回帰(PCR)の解析を行う。
我々は、最もよく知られたレートで改善される非漸近的なアウト・オブ・サンプル予測の保証を確立する。
論文 参考訳(メタデータ) (2020-10-27T17:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。