論文の概要: Pivotal Estimation of Linear Discriminant Analysis in High Dimensions
- arxiv url: http://arxiv.org/abs/2309.09831v1
- Date: Mon, 18 Sep 2023 14:50:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 12:49:02.463011
- Title: Pivotal Estimation of Linear Discriminant Analysis in High Dimensions
- Title(参考訳): 高次元における線形判別分析の偏差推定
- Authors: Ethan X. Fang, Yajun Mei, Yuyang Shi, Qunzhi Xu, Tuo Zhao
- Abstract要約: PANDAは、パラメータをチューニングするのにほとんど労力を要しないという意味で、チューニングに敏感な方法である。
推定誤差と誤分類率の両方の観点から,PANDAが最適収束率を達成することを証明した。
- 参考スコア(独自算出の注目度): 34.52768782723098
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the linear discriminant analysis problem in the high-dimensional
settings. In this work, we propose PANDA(PivotAl liNear Discriminant Analysis),
a tuning-insensitive method in the sense that it requires very little effort to
tune the parameters. Moreover, we prove that PANDA achieves the optimal
convergence rate in terms of both the estimation error and misclassification
rate. Our theoretical results are backed up by thorough numerical studies using
both simulated and real datasets. In comparison with the existing methods, we
observe that our proposed PANDA yields equal or better performance, and
requires substantially less effort in parameter tuning.
- Abstract(参考訳): 高次元設定における線形判別分析問題について考察する。
本研究では,パラメータのチューニングにほとんど手間がかからないという観点から,チューニング非感受性法である panda (pivotal linear discriminant analysis) を提案する。
さらに,推定誤差と誤分類率の両方の観点から,PANDAが最適収束率を達成することを示す。
我々の理論結果はシミュレーションと実データの両方を用いた徹底的な数値研究によって裏付けられている。
既存の手法と比較して,提案したPANDAは同等以上の性能を示し,パラメータチューニングに要する労力を大幅に削減する。
関連論文リスト
- Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。
WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文 参考訳(メタデータ) (2024-10-28T04:47:39Z) - On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。
これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。
我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
論文 参考訳(メタデータ) (2022-11-28T17:41:48Z) - Wasserstein Distributionally Robust Estimation in High Dimensions:
Performance Analysis and Optimal Hyperparameter Tuning [0.0]
雑音線形測定から未知パラメータを推定するための分布的ロバストな推定フレームワークを提案する。
このような推定器の2乗誤差性能を解析する作業に着目する。
凸凹最適化問題の解法として2乗誤差を復元できることを示す。
論文 参考訳(メタデータ) (2022-06-27T13:02:59Z) - False Correlation Reduction for Offline Reinforcement Learning [115.11954432080749]
本稿では,実効的かつ理論的に証明可能なアルゴリズムであるオフラインRLに対するfalSe Correlation Reduction (SCORE)を提案する。
SCOREは、標準ベンチマーク(D4RL)において、様々なタスクにおいて3.1倍の高速化でSoTA性能を達成することを実証的に示す。
論文 参考訳(メタデータ) (2021-10-24T15:34:03Z) - Debiasing In-Sample Policy Performance for Small-Data, Large-Scale
Optimization [4.554894288663752]
本稿では,データ駆動最適化におけるポリシのアウト・オブ・サンプル性能の新たな推定法を提案する。
クロスバリデーションとは異なり、我々の手法はテストセットのデータを犠牲にするのを避ける。
我々は,小規模・大規模システムにおける推定器の性能を実証する。
論文 参考訳(メタデータ) (2021-07-26T19:00:51Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Accounting for Variance in Machine Learning Benchmarks [37.922783300635864]
ある機械学習アルゴリズムAは、変化の源を越えて学習パイプラインを最適化する複数の試行を理想的に呼び出す。
これは非常に高価であり、コーナーは結論に達するために切断されます。
ベンチマークプロセス全体をモデル化し,データサンプリングによるばらつき,パラメータ初期化,ハイパーパラメータ選択の影響を明らかにした。
計算コストの51倍の削減で,不完全な推定器アプローチにより多くの変動源を加えることにより,理想推定器の精度が向上することを示す。
論文 参考訳(メタデータ) (2021-03-01T22:39:49Z) - Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。
我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。
得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
論文 参考訳(メタデータ) (2020-11-03T09:46:31Z) - Doubly Robust Semiparametric Difference-in-Differences Estimators with
High-Dimensional Data [15.27393561231633]
不均一な治療効果を推定するための2段半パラメトリック差分差分推定器を提案する。
第1段階では、確率スコアを推定するために、一般的な機械学習手法が使用できる。
第2段階ではパラメトリックパラメータと未知関数の両方の収束率を導出する。
論文 参考訳(メタデータ) (2020-09-07T15:14:29Z) - Compressing Large Sample Data for Discriminant Analysis [78.12073412066698]
判別分析フレームワーク内での大きなサンプルサイズに起因する計算問題を考察する。
線形および二次判別分析のためのトレーニングサンプル数を削減するための新しい圧縮手法を提案する。
論文 参考訳(メタデータ) (2020-05-08T05:09:08Z) - Support recovery and sup-norm convergence rates for sparse pivotal
estimation [79.13844065776928]
高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。
非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
論文 参考訳(メタデータ) (2020-01-15T16:11:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。