論文の概要: Sufficient Dimension Reduction for High-Dimensional Regression and
Low-Dimensional Embedding: Tutorial and Survey
- arxiv url: http://arxiv.org/abs/2110.09620v1
- Date: Mon, 18 Oct 2021 21:05:08 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-20 13:51:36.141522
- Title: Sufficient Dimension Reduction for High-Dimensional Regression and
Low-Dimensional Embedding: Tutorial and Survey
- Title（参考訳）: 高次元回帰と低次元埋め込みのための十分な次元縮小:チュートリアルとサーベイ
- Authors: Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
- Abstract要約: 本論文は,SDRのための各種手法に関するチュートリアルおよび調査論文である。
本稿では,これらの手法を,統計的高次元回帰的視点と,次元削減のための機械学習アプローチの両方でカバーする。
- 参考スコア（独自算出の注目度）: 5.967999555890417
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This is a tutorial and survey paper on various methods for Sufficient
Dimension Reduction (SDR). We cover these methods with both statistical
high-dimensional regression perspective and machine learning approach for
dimensionality reduction. We start with introducing inverse regression methods
including Sliced Inverse Regression (SIR), Sliced Average Variance Estimation
(SAVE), contour regression, directional regression, Principal Fitted Components
(PFC), Likelihood Acquired Direction (LAD), and graphical regression. Then, we
introduce forward regression methods including Principal Hessian Directions
(pHd), Minimum Average Variance Estimation (MAVE), Conditional Variance
Estimation (CVE), and deep SDR methods. Finally, we explain Kernel Dimension
Reduction (KDR) both for supervised and unsupervised learning. We also show
that supervised KDR and supervised PCA are equivalent.
- Abstract（参考訳）: 本論文は,SDR(Sufficient Dimension Reduction)の様々な方法に関するチュートリアルおよび調査論文である。
これらの手法を,統計的な高次元回帰視点と機械学習による次元低減手法の両方でカバーする。
まず, Sliced Inverse Regression (SIR), Sliced Average Variance Estimation (SAVE), contour regression, directional regression, principal Fitted Components (PFC), Likelihood Acquired Direction (LAD), graphical regression などの逆回帰手法を導入する。
次に,主ヘシアン方向(pHd),最小平均分散推定(MAVE),条件変数推定(CVE),深部SDR法などの前方回帰手法を紹介する。
最後に、教師なしおよび教師なし学習のためのカーネル次元削減(KDR)について説明する。
また, 教師付きKDRと教師付きPCAは等価であることを示す。
関連論文リスト
- Geometry-Aware Instrumental Variable Regression [56.16884466478886]
本稿では,データ導出情報によるデータ多様体の幾何を考慮した移動型IV推定器を提案する。
本手法のプラグイン・アンド・プレイ実装は,標準設定で関連する推定器と同等に動作する。
論文 参考訳（メタデータ） (2024-05-19T17:49:33Z) - Online Kernel Sliced Inverse Regression [4.561305216067566]
オンライン次元の縮小は、高次元ストリーミングデータ処理の一般的な方法である。
本稿では,オンラインカーネルスライス逆回帰法を提案する。
この問題をオンライン一般化固有分解問題に変換し、最適化手法を用いて中心次元縮小方向を更新する。
論文 参考訳（メタデータ） (2023-01-23T16:05:51Z) - Vector-Valued Least-Squares Regression under Output Regularity
Assumptions [73.99064151691597]
最小二乗回帰問題を無限次元出力で解くために,還元ランク法を提案し,解析する。
提案手法の学習バウンダリを導出し、フルランク手法と比較して統計的性能の設定を改善する研究を行う。
論文 参考訳（メタデータ） (2022-11-16T15:07:00Z) - A selective review of sufficient dimension reduction for multivariate
response regression [2.492300648514129]
広い範囲のSDR法は、逆回帰SDR推定器または前方回帰SDR推定器として特徴付けられる。
通常の最小二乗、部分最小二乗、半パラメトリックSDR推定器は、前方回帰系の推定器として議論される。
論文 参考訳（メタデータ） (2022-02-02T04:53:09Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳（メタデータ） (2022-01-31T13:02:41Z) - Dimension Reduction and Data Visualization for Fr\'echet Regression [8.713190936209156]
Fr'echet回帰モデルは、計量空間値応答を用いた回帰分析のための有望なフレームワークを提供する。
本研究では,Fr'echet回帰のためのフレキシブルな十分次元縮小法(SDR)を導入し,二つの目的を達成した。
論文 参考訳（メタデータ） (2021-10-01T15:01:32Z) - Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。
RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。
従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
論文 参考訳（メタデータ） (2021-07-23T15:06:31Z) - Robust Kernel-based Distribution Regression [13.426195476348955]
2段階のサンプリングを含む分布回帰(DR)を研究し、ヒルベルト空間(RKHS)を再現するカーネル上での確率測度から実値応答への回帰を目指す。
2段階サンプリング問題に対するロバストロス関数$l_sigma$の導入により,新たなロバスト分布回帰(RDR)スキームを提案する。
論文 参考訳（メタデータ） (2021-04-21T17:03:46Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z) - Stochastic Gradient Descent Meets Distribution Regression [0.0]
勾配降下(SGD)は、幅広い機械学習問題を解決するためのシンプルで効率的な方法である。
本稿では,2段階のサンプリングを含む分布回帰(DR)に注目した。
論文 参考訳（メタデータ） (2020-10-24T09:03:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。