論文の概要: Concentration inequalities for leave-one-out cross validation
- arxiv url: http://arxiv.org/abs/2211.02478v3
- Date: Mon, 16 Oct 2023 14:21:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 06:37:33.174449
- Title: Concentration inequalities for leave-one-out cross validation
- Title(参考訳): 排他的相互検証のための濃度不等式
- Authors: Benny Avelin and Lauri Viitasaari
- Abstract要約: 評価器の安定性が十分であることを示すことで,残余のクロスバリデーションが健全な手順であることを示す。
対数的ソボレフの不等式を満たす分布を持つ確率変数に頼って結果を得る。
- 参考スコア(独自算出の注目度): 1.90365714903665
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this article we prove that estimator stability is enough to show that
leave-one-out cross validation is a sound procedure, by providing concentration
bounds in a general framework. In particular, we provide concentration bounds
beyond Lipschitz continuity assumptions on the loss or on the estimator. We
obtain our results by relying on random variables with distribution satisfying
the logarithmic Sobolev inequality, providing us a relatively rich class of
distributions. We illustrate our method by considering several interesting
examples, including linear regression, kernel density estimation, and
stabilized/truncated estimators such as stabilized kernel regression.
- Abstract(参考訳): 本稿では,一般のフレームワークに濃度境界を設けることで,残余のクロスバリデーションが健全な手順であることを証明するのに,推定器の安定性が十分であることを示す。
特に、損失または推定子に対するリプシッツ連続性仮定を超える濃度境界を提供する。
対数的ソボレフの不等式を満たす分布を持つ確率変数を頼りにすることで、比較的リッチな分布クラスが得られる。
本稿では, 線形回帰, カーネル密度推定, 安定化カーネル回帰などの安定化/縮小推定器など, 興味深い例をいくつか挙げる。
関連論文リスト
- Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。
本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。
我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
論文 参考訳(メタデータ) (2024-10-03T09:07:13Z) - Uncertainty Quantification via Stable Distribution Propagation [60.065272548502]
本稿では,ニューラルネットワークによる安定確率分布の伝播手法を提案する。
提案手法は局所線形化に基づいており,ReLU非線型性に対する全変動距離の近似値として最適であることを示す。
論文 参考訳(メタデータ) (2024-02-13T09:40:19Z) - A Tale of Sampling and Estimation in Discounted Reinforcement Learning [50.43256303670011]
割引平均推定問題に対して最小値の最小値を求める。
マルコフ過程の割引されたカーネルから直接サンプリングすることで平均を推定すると、説得力のある統計的性質が得られることを示す。
論文 参考訳(メタデータ) (2023-04-11T09:13:17Z) - Stochastic Saddle Point Problems with Decision-Dependent Distributions [0.6091702876917279]
本稿では,静的設定と時間変化設定の両方において決定に依存するサドル点問題に焦点をあてる。
定常ミニマックス問題に対するサドル点である平衡点の概念を導入する。
原始双対アルゴリズムは、同様の方法でサドル点に収束することを示す。
論文 参考訳(メタデータ) (2022-01-07T03:36:41Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Distribution-Free Robust Linear Regression [5.532477732693]
共変体の分布を仮定せずにランダムな設計線形回帰を研究する。
最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。
我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
論文 参考訳(メタデータ) (2021-02-25T15:10:41Z) - Adversarial robust weighted Huber regression [2.0257616108612373]
線形回帰係数のロバストな推定を考察する。
安定な階数と共分散行列の条件数に依存する推定誤差境界を導出する。
論文 参考訳(メタデータ) (2021-02-22T15:50:34Z) - On the Ergodicity, Bias and Asymptotic Normality of Randomized Midpoint
Sampling Method [18.541857410928387]
SL19]により提案されたランダム化拡散法は,連続時間ランゲヴィン・ランゲヴィンをシミュレーションするための最適離散化法として登場した。
論文 参考訳(メタデータ) (2020-11-06T03:39:23Z) - Nonparametric Score Estimators [49.42469547970041]
未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。
正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。
カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
論文 参考訳(メタデータ) (2020-05-20T15:01:03Z) - Batch Stationary Distribution Estimation [98.18201132095066]
サンプル遷移の組を与えられたエルゴードマルコフ鎖の定常分布を近似する問題を考える。
与えられたデータに対する補正比関数の復元に基づく一貫した推定器を提案する。
論文 参考訳(メタデータ) (2020-03-02T09:10:01Z) - Pareto Smoothed Importance Sampling [8.705872384531318]
重み付けはモンテカルロ積分を調整する一般的な方法であり、間違った分布からの引き分けを考慮に入れている。
これは、近似分布によってうまく捉えられていない対象分布の側面が存在する場合に、日常的に発生する。
シミュレーションされた重要度比の分布の上限に適合する一般化されたパレート分布を用いて、重要度重みを安定化する新しい方法を提案する。
論文 参考訳(メタデータ) (2015-07-09T18:43:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。