論文の概要: Random-projection ensemble dimension reduction
- arxiv url: http://arxiv.org/abs/2410.04922v1
- Date: Mon, 7 Oct 2024 11:09:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 01:18:10.043797
- Title: Random-projection ensemble dimension reduction
- Title（参考訳）: ランダム射影アンサンブル次元の縮小
- Authors: Wenxing Zhou, Timothy I. Cannings,
- Abstract要約: 本稿では,高次元回帰の文脈における次元削減のための新しい枠組みを提案する。
独立な乱射影の解離群を考察し、各射影の後に基本回帰法を適用し、経験的性能に基づいて各群における射影を保持する。
シミュレーションおよび実データを用いた大規模数値実験において,提案手法の優れた実証性能を示す。
- 参考スコア（独自算出の注目度）: 1.6114012813668932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new framework for dimension reduction in the context of high-dimensional regression. Our proposal is to aggregate an ensemble of random projections, which have been carefully chosen based on the empirical regression performance after being applied to the covariates. More precisely, we consider disjoint groups of independent random projections, apply a base regression method after each projection, and retain the projection in each group based on the empirical performance. We aggregate the selected projections by taking the singular value decomposition of their empirical average and then output the leading order singular vectors. A particularly appealing aspect of our approach is that the singular values provide a measure of the relative importance of the corresponding projection directions, which can be used to select the final projection dimension. We investigate in detail (and provide default recommendations for) various aspects of our general framework, including the projection distribution and the base regression method, as well as the number of random projections used. Additionally, we investigate the possibility of further reducing the dimension by applying our algorithm twice in cases where projection dimension recommended in the initial application is too large. Our theoretical results show that the error of our algorithm stabilises as the number of groups of projections increases. We demonstrate the excellent empirical performance of our proposal in a large numerical study using simulated and real data.
- Abstract（参考訳）: 本稿では,高次元回帰の文脈における次元削減のための新しい枠組みを提案する。
提案手法は,共変量に適用された経験的回帰性能に基づいて慎重に選択されたランダムなプロジェクションのアンサンブルを集約することである。
より正確には、独立なランダムプロジェクションの解離群を考察し、各プロジェクションの後に基本回帰法を適用し、経験的性能に基づいて各グループにプロジェクションを保持する。
実験平均の特異値を分解して選択された射影を集約し、先頭の特異ベクトルを出力する。
このアプローチの特に魅力的な側面は、特異値が対応する射影方向の相対的重要性の尺度を提供することである。
本稿では,予測分布や基本回帰法,使用する乱射影の数など,一般的なフレームワークのさまざまな側面について詳細に検討(および既定の推奨)する。
さらに、初期アプリケーションで推奨される射影次元が大きすぎる場合に、我々のアルゴリズムを2回適用することで、さらに寸法を縮小する可能性について検討する。
理論的結果から,投影数の増加に伴ってアルゴリズムの誤差が安定化されることが示唆された。
シミュレーションおよび実データを用いた大規模数値実験において,提案手法の優れた実証性能を示す。
関連論文リスト
- Meta-Learning with Generalized Ridge Regression: High-dimensional Asymptotics, Optimality and Hyper-covariance Estimation [14.194212772887699]
本研究では,高次元ランダム効果線形モデルの枠組みにおけるメタラーニングについて考察する。
本研究では,データ次元がタスク毎のサンプル数に比例して大きくなる場合に,新しいテストタスクに対する予測リスクの正確な振る舞いを示す。
トレーニングタスクのデータに基づいて,逆回帰係数を推定する手法を提案し,解析する。
論文 参考訳（メタデータ） (2024-03-27T21:18:43Z) - Regression-aware Inference with LLMs [52.764328080398805]
提案手法は,一般的な回帰と評価指標に準最適であることを示す。
本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
論文 参考訳（メタデータ） (2024-03-07T03:24:34Z) - Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。
本手法は, 精度の高い問題に特に適している。
提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
論文 参考訳（メタデータ） (2023-11-08T00:10:21Z) - Sharp-SSL: Selective high-dimensional axis-aligned random projections
for semi-supervised learning [16.673022545571566]
本稿では,高次元半教師付き学習問題に対する新しい手法を提案する。
これは、データの多くの軸方向のランダムな投影に適用される低次元プロシージャの結果の慎重な集約に基づいている。
論文 参考訳（メタデータ） (2023-04-18T17:49:02Z) - High-dimensional analysis of double descent for linear regression with
random projections [0.0]
ランダムな投影数が異なる線形回帰問題を考察し、固定された予測問題に対する二重降下曲線を確実に示す。
まず、リッジ回帰推定器を考察し、非パラメトリック統計学の古典的概念を用いて先行結果を再解釈する。
次に、最小ノルム最小二乗の一般化性能(バイアスと分散の観点から)の同値をランダムな射影に適合させ、二重降下現象の単純な表現を与える。
論文 参考訳（メタデータ） (2023-03-02T15:58:09Z) - Optimal Discriminant Analysis in High-Dimensional Latent Factor Models [1.4213973379473654]
高次元分類問題において、一般的に用いられるアプローチは、まず高次元の特徴を低次元空間に射影することである。
我々は、この2段階の手順を正当化するために、隠れた低次元構造を持つ潜在変数モデルを定式化する。
観測された特徴の特定の主成分(PC)を射影とする計算効率の良い分類器を提案する。
論文 参考訳（メタデータ） (2022-10-23T21:45:53Z) - Refined bounds for randomized experimental design [7.899055512130904]
実験的な設計は与えられた基準のための最もよい推定器を得るために与えられたセット間のサンプルを選ぶためのアプローチです。
EおよびG最適化設計におけるランダム化戦略の理論的保証を提案する。
論文 参考訳（メタデータ） (2020-12-22T20:37:57Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳（メタデータ） (2020-06-24T17:53:53Z) - Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。
提案手法は, 十分次元還元法の非パラメトリック一般化である。
推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
論文 参考訳（メタデータ） (2020-06-10T14:47:43Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳（メタデータ） (2020-04-17T12:47:04Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳（メタデータ） (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。