論文の概要: A One-Sided McDiarmid-Type Inequality for Heavy Tails via Reverse KL Tensorization
- arxiv url: http://arxiv.org/abs/2610.21103v1
- Date: Thu, 15 Oct 2026 02:06:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.133672
- Title: A One-Sided McDiarmid-Type Inequality for Heavy Tails via Reverse KL Tensorization
- Title(参考訳): 逆KLテンソル化による重機用片面マクダイアルミド型不等式
- Abstract要約: 我々は、統計学習理論とアルゴリズム解析の中心的なツールであるマクダイアルミドの不等式を再考する。
独立確率変数の関数に対して平均以上の大きな偏差が指数関数的にありそうにないことを示す。
- 参考スコア(独自算出の注目度): 6.0727653299941515
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We revisit McDiarmid's inequality, a central tool in statistical learning theory and algorithm analysis. We show that large deviations above the mean are exponentially unlikely for functions of independent random variables that are almost surely bounded above and satisfy a conditional moment assumption of order $p\in(1,2]$. When $p<2$, the result applies even when the function has infinite variance. Our proof relies on a new tensorization inequality for the Kullback--Leibler divergence, termed reverse KL tensorization, which may be of independent interest. Applications include concentration of the sample mean and median-of-means estimator, and one-sided uniform risk bounds for unbounded losses.
- Abstract(参考訳): 我々は、統計学習理論とアルゴリズム解析の中心的なツールであるマクダイアルミドの不等式を再考する。
平均上の大きな偏差は、ほぼ確実に上の有界な独立確率変数の関数に対して指数関数的に不可能であり、位数 $p\in(1,2]$ の条件モーメント仮定を満たすことを示す。
p<2$ の場合、関数が無限の分散を持つ場合でも結果が当てはまる。
我々の証明は、KL の逆テンソル化と呼ばれるクルバック-リーブラ発散に対する新しいテンソル化の不等式に依存している。
応用例としては、サンプルの平均値と平均値の中央値の推定値の濃度、一辺一様リスクバウンダリ(unbounded loss)がある。
関連論文リスト
- Generalized Deep Regression for Repeated Measurements [1.5229257192293202]
我々は、ReLUネットワークが$n-1+(nm)-2/(2+d)$という平均二乗誤差を、対数係数を除いて$$-Hlderクラス以上で得ることを示す。
点的アンサンブル推論に対しては、射影中心極限定理を与え、明示的な線型性条件の下で無限小のジャックニフェ整合性を証明する。
論文 参考訳(メタデータ) (2026-09-22T02:51:37Z) - Online Inference in Distributional Temporal-Difference Learning [12.653922692549969]
本研究では, 返却分布の関数に対するオンライン統計的推測を定式化して検討した。
Polyak--Ruppert 平均推定器について、そのルート-$T$誤差がクラメル空間のガウスランダム要素に弱収束することを証明する。
非滑らかな統計汎関数に対しては、有限個のしきい値からなる$T-1/2$-隣り合わせで推定された戻り値 CDF の局所理論を開発する。
論文 参考訳(メタデータ) (2026-08-14T15:51:50Z) - Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。
我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
論文 参考訳(メタデータ) (2024-08-25T10:28:31Z) - Statistical Efficiency of Distributional Temporal Difference Learning and Freedman's Inequality in Hilbert Spaces [24.03281329962804]
本稿では,分布時間差学習における非漸近的統計率に着目した。
生成モデルを用いたNTDの場合、$tildeO(varepsilon-2 mu_pi,min-1 (1-gamma)-3+t_mixmu_pi,min-1 (1-gamma)-1)$サンプル複雑性境界はワッサーシュタイン距離が1ドルである場合に必要である。
我々は新しいフリードマンの不平等を樹立する
論文 参考訳(メタデータ) (2024-03-09T06:19:53Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Robust computation of optimal transport by $\beta$-potential
regularization [79.24513412588745]
最適輸送(OT)は、確率分布間の差を測定する機械学習分野で広く使われているツールである。
我々は、いわゆる$beta$-divergenceに付随するベータポテンシャル項でOTを正規化することを提案する。
提案アルゴリズムで計算した輸送行列は,外乱が存在する場合でも確率分布を頑健に推定するのに役立つことを実験的に実証した。
論文 参考訳(メタデータ) (2022-12-26T18:37:28Z) - Distribution Regression with Sliced Wasserstein Kernels [45.916342378789174]
分布回帰のための最初のOTに基づく推定器を提案する。
このような表現に基づくカーネルリッジ回帰推定器の理論的性質について検討する。
論文 参考訳(メタデータ) (2022-02-08T15:21:56Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳(メタデータ) (2021-09-24T14:48:20Z) - Convergence Rates of Stochastic Gradient Descent under Infinite Noise
Variance [14.06947898164194]
ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。
SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。
その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
論文 参考訳(メタデータ) (2021-02-20T13:45:11Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳(メタデータ) (2020-11-11T18:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。