論文の概要: Derivatives and residual distribution of regularized M-estimators with
application to adaptive tuning
- arxiv url: http://arxiv.org/abs/2107.05143v1
- Date: Sun, 11 Jul 2021 23:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 15:43:52.157906
- Title: Derivatives and residual distribution of regularized M-estimators with
application to adaptive tuning
- Title（参考訳）: 正則化m推定器の導出と残留分布と適応チューニングへの応用
- Authors: Pierre C Bellec, Yiwei Shen
- Abstract要約: 凸ペナルティを基準とした勾配リプシッツ損失関数を持つM推定器について検討した。
実例は、ハマー損失と弾性ネットペナルティで構築されたロバストなM推定器である。
- 参考スコア（独自算出の注目度）: 11.117357750374035
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies M-estimators with gradient-Lipschitz loss function
regularized with convex penalty in linear models with Gaussian design matrix
and arbitrary noise distribution. A practical example is the robust M-estimator
constructed with the Huber loss and the Elastic-Net penalty and the noise
distribution has heavy-tails. Our main contributions are three-fold. (i) We
provide general formulae for the derivatives of regularized M-estimators
$\hat\beta(y,X)$ where differentiation is taken with respect to both $y$ and
$X$; this reveals a simple differentiability structure shared by all convex
regularized M-estimators. (ii) Using these derivatives, we characterize the
distribution of the residual $r_i = y_i-x_i^\top\hat\beta$ in the intermediate
high-dimensional regime where dimension and sample size are of the same order.
(iii) Motivated by the distribution of the residuals, we propose a novel
adaptive criterion to select tuning parameters of regularized M-estimators. The
criterion approximates the out-of-sample error up to an additive constant
independent of the estimator, so that minimizing the criterion provides a proxy
for minimizing the out-of-sample error. The proposed adaptive criterion does
not require the knowledge of the noise distribution or of the covariance of the
design. Simulated data confirms the theoretical findings, regarding both the
distribution of the residuals and the success of the criterion as a proxy of
the out-of-sample error. Finally our results reveal new relationships between
the derivatives of $\hat\beta(y,X)$ and the effective degrees of freedom of the
M-estimator, which are of independent interest.
- Abstract（参考訳）: 本稿では,ガウス設計行列と任意雑音分布を持つ線形モデルにおいて,凸ペナルティを正規化した勾配-リプシッツ損失関数を持つm推定器について検討する。
実例では、ハマー損失と弾性ネットのペナルティとノイズ分布の重みを持つロバストなM推定器がある。
私たちの主な貢献は3倍です。
i) 正規化 M-推定器の微分に対する一般式 $\hat\beta(y,X)$ ここでの微分は$y$と$X$の両方で成り立つが、これはすべての凸正規化 M-推定器で共有される単純な微分可能性構造を示す。
(ii)これらの誘導体を用いて、次元とサンプルサイズが同一の中間高次元状態における残余 $r_i = y_i-x_i^\top\hat\beta$ の分布を特徴付ける。
(iii) 残差の分布を動機とし, 正規化m推定器のチューニングパラメータを選択するための新しい適応基準を提案する。
基準は、サンプル外誤差を推定器から独立な加算定数まで近似することにより、サンプル外誤差を最小化するプロキシを提供する。
提案した適応的基準は、ノイズ分布や設計の共分散の知識を必要としない。
シミュレートされたデータは、残差の分布と基準の成功の両方に関して、サンプル外誤差のプロキシとして理論的な結果を確認する。
最後に、我々の結果は、$\hat\beta(y,X)$ の微分と独立な興味を持つ M-推定子の有効自由度の間の新しい関係を明らかにする。
関連論文リスト
- Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。
その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。
この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
論文 参考訳（メタデータ） (2024-10-17T16:42:12Z) - A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。
頑健な推定器は効率的に計算可能で一貫したものであることを示す。
合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文 参考訳（メタデータ） (2024-05-30T15:01:18Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - On the Variance, Admissibility, and Stability of Empirical Risk
Minimization [80.26309576810844]
2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。
軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。
また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
論文 参考訳（メタデータ） (2023-05-29T15:25:48Z) - Generalizing Gaussian Smoothing for Random Search [23.381986209234164]
ガウススムースティング(英: Gaussian smoothing、GS)は、現在のベンチマークの摂動を用いて対象の勾配を推定する微分自由最適化アルゴリズムである。
そこで本研究では,MSEが比較的小さいような分布の誤差を最小限に抑えた摂動分布を選択することを提案する。
論文 参考訳（メタデータ） (2022-11-27T04:42:05Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Targeted Separation and Convergence with Kernel Discrepancies [61.973643031360254]
カーネルベースの不一致測度は、(i)ターゲットPを他の確率測度から分離するか、(ii)Pへの弱収束を制御する必要がある。
本稿では, (i) と (ii) を保証するのに十分な,必要な新しい条件を導出する。
可分距離空間上のMDDに対して、ボヒナー埋め込み可測度を分離するカーネルを特徴づけ、すべての測度を非有界カーネルと分離するための単純な条件を導入する。
論文 参考訳（メタデータ） (2022-09-26T16:41:16Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Achieving Efficiency in Black Box Simulation of Distribution Tails with
Self-structuring Importance Samplers [1.6114012813668934]
本稿では,線形プログラムや整数線形プログラム,ピースワイド線形・二次目的,ディープニューラルネットワークで指定された特徴マップなど,多種多様なツールでモデル化されたパフォーマンス指標の分布を推定する,新しいImportance Smpling(IS)方式を提案する。
論文 参考訳（メタデータ） (2021-02-14T03:37:22Z) - M-estimators of scatter with eigenvalue shrinkage [19.82023576081279]
本稿では,より一般的な手法として,SCMを散乱行列のM推定器に置き換える方法を考える。
我々のアプローチでは、ガウス関数、フーバー関数、または$t$重み関数など、任意の重み関数の使用が可能である。
シミュレーション例では,提案した最適チューニングと頑健な重み関数を併用した縮小M推定器は,ガウス的データの場合の縮小SCM推定器の性能が低下しないことを示した。
論文 参考訳（メタデータ） (2020-02-12T13:47:58Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。