論文の概要: Derivatives and residual distribution of regularized M-estimators with
application to adaptive tuning
- arxiv url: http://arxiv.org/abs/2107.05143v1
- Date: Sun, 11 Jul 2021 23:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 15:43:52.157906
- Title: Derivatives and residual distribution of regularized M-estimators with
application to adaptive tuning
- Title(参考訳): 正則化m推定器の導出と残留分布と適応チューニングへの応用
- Authors: Pierre C Bellec, Yiwei Shen
- Abstract要約: 凸ペナルティを基準とした勾配リプシッツ損失関数を持つM推定器について検討した。
実例は、ハマー損失と弾性ネットペナルティで構築されたロバストなM推定器である。
- 参考スコア(独自算出の注目度): 11.117357750374035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies M-estimators with gradient-Lipschitz loss function
regularized with convex penalty in linear models with Gaussian design matrix
and arbitrary noise distribution. A practical example is the robust M-estimator
constructed with the Huber loss and the Elastic-Net penalty and the noise
distribution has heavy-tails. Our main contributions are three-fold. (i) We
provide general formulae for the derivatives of regularized M-estimators
$\hat\beta(y,X)$ where differentiation is taken with respect to both $y$ and
$X$; this reveals a simple differentiability structure shared by all convex
regularized M-estimators. (ii) Using these derivatives, we characterize the
distribution of the residual $r_i = y_i-x_i^\top\hat\beta$ in the intermediate
high-dimensional regime where dimension and sample size are of the same order.
(iii) Motivated by the distribution of the residuals, we propose a novel
adaptive criterion to select tuning parameters of regularized M-estimators. The
criterion approximates the out-of-sample error up to an additive constant
independent of the estimator, so that minimizing the criterion provides a proxy
for minimizing the out-of-sample error. The proposed adaptive criterion does
not require the knowledge of the noise distribution or of the covariance of the
design. Simulated data confirms the theoretical findings, regarding both the
distribution of the residuals and the success of the criterion as a proxy of
the out-of-sample error. Finally our results reveal new relationships between
the derivatives of $\hat\beta(y,X)$ and the effective degrees of freedom of the
M-estimator, which are of independent interest.
- Abstract(参考訳): 本稿では,ガウス設計行列と任意雑音分布を持つ線形モデルにおいて,凸ペナルティを正規化した勾配-リプシッツ損失関数を持つm推定器について検討する。
実例では、ハマー損失と弾性ネットのペナルティとノイズ分布の重みを持つロバストなM推定器がある。
私たちの主な貢献は3倍です。
i) 正規化 M-推定器の微分に対する一般式 $\hat\beta(y,X)$ ここでの微分は$y$と$X$の両方で成り立つが、これはすべての凸正規化 M-推定器で共有される単純な微分可能性構造を示す。
(ii)これらの誘導体を用いて、次元とサンプルサイズが同一の中間高次元状態における残余 $r_i = y_i-x_i^\top\hat\beta$ の分布を特徴付ける。
(iii) 残差の分布を動機とし, 正規化m推定器のチューニングパラメータを選択するための新しい適応基準を提案する。
基準は、サンプル外誤差を推定器から独立な加算定数まで近似することにより、サンプル外誤差を最小化するプロキシを提供する。
提案した適応的基準は、ノイズ分布や設計の共分散の知識を必要としない。
シミュレートされたデータは、残差の分布と基準の成功の両方に関して、サンプル外誤差のプロキシとして理論的な結果を確認する。
最後に、我々の結果は、$\hat\beta(y,X)$ の微分と独立な興味を持つ M-推定子の有効自由度の間の新しい関係を明らかにする。
関連論文リスト
- Natural Bayesian Cram\'er-Rao Bound with an Application to Covariance
Estimation [53.28838377722963]
推定パラメータが多様体内にあり、先行分布に従う場合、新しいCram'er-Rao Bound (CRB) を開発する。
この導出は、幾何学的性質に基づく誤差基準とこの新しい境界との間の自然な不等式をもたらす。
論文 参考訳(メタデータ) (2023-11-08T15:17:13Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳(メタデータ) (2023-05-29T15:25:48Z) - Generalizing Gaussian Smoothing for Random Search [23.381986209234164]
ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。
そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
論文 参考訳(メタデータ) (2022-11-27T04:42:05Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2022-11-26T11:45:32Z) - Targeted Separation and Convergence with Kernel Discrepancies [66.48817218787006]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳(メタデータ) (2022-09-26T16:41:16Z) - BR-SNIS: Bias Reduced Self-Normalized Importance Sampling [11.150337082767862]
重要サンプリング(Importance Smpling、IS)とは、提案分布と関連する重要度から独立したサンプルを用いて、目標分布下での期待を近似する手法である。
本稿では,SNISの複雑さが本質的に同じであり,分散を増大させることなくバイアスを大幅に低減するBR-SNISを提案する。
提案アルゴリズムには、新しいバイアス、分散、高確率境界を含む厳密な理論的結果を与える。
論文 参考訳(メタデータ) (2022-07-13T17:14:10Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳(メタデータ) (2021-10-24T10:23:51Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳(メタデータ) (2021-02-14T03:37:22Z) - M-estimators of scatter with eigenvalue shrinkage [19.82023576081279]
本稿では,より一般的な手法として,SCMを散乱行列のM推定器に置き換える方法を考える。
我々のアプローチでは、ガウス関数、フーバー関数、または$t$重み関数など、任意の重み関数の使用が可能である。
シミュレーション例では,提案した最適チューニングと頑健な重み関数を併用した縮小M推定器は,ガウス的データの場合の縮小SCM推定器の性能が低下しないことを示した。
論文 参考訳(メタデータ) (2020-02-12T13:47:58Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳(メタデータ) (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。