論文の概要: Tight Non-asymptotic Inference via Sub-Gaussian Intrinsic Moment Norm
- arxiv url: http://arxiv.org/abs/2303.07287v1
- Date: Mon, 13 Mar 2023 17:03:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 13:46:22.538648
- Title: Tight Non-asymptotic Inference via Sub-Gaussian Intrinsic Moment Norm
- Title（参考訳）: サブガウス内在的モーメントノルムによる密接な非漸近的推論
- Authors: Huiming Zhang, Haoyu Wei, Guang Cheng
- Abstract要約: 非漸近的な統計的推測では、ガウス分布の分散型パラメータが重要な役割を果たす。
正規化された一連のモーメントを最大化することで、ガウス以下の固有モーメントノルムを使用することを推奨する。
推奨ノルムは、対応するMGFの指数モーメント境界を回復するだけでなく、ホーフディングの準ガウス濃度の不等式もより厳密にする。
- 参考スコア（独自算出の注目度）: 16.37383208694076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In non-asymptotic statistical inferences, variance-type parameters of
sub-Gaussian distributions play a crucial role. However, direct estimation of
these parameters based on the empirical moment generating function (MGF) is
infeasible. To this end, we recommend using a sub-Gaussian intrinsic moment
norm [Buldygin and Kozachenko (2000), Theorem 1.3] through maximizing a series
of normalized moments. Importantly, the recommended norm can not only recover
the exponential moment bounds for the corresponding MGFs, but also lead to
tighter Hoeffding's sub-Gaussian concentration inequalities. In practice,
{\color{black} we propose an intuitive way of checking sub-Gaussian data with a
finite sample size by the sub-Gaussian plot}. Intrinsic moment norm can be
robustly estimated via a simple plug-in approach. Our theoretical results are
applied to non-asymptotic analysis, including the multi-armed bandit.
- Abstract（参考訳）: 非漸近的統計的推論では、サブガウス分布の分散型パラメータが重要な役割を果たす。
しかし,経験的モーメント生成関数(MGF)に基づくパラメータの直接推定は不可能である。
この目的のために、一連の正規化モーメントを最大化することで、下位ゲージ固有モーメントノルム(buldygin and kozachenko (2000), theorem 1.3)を使うことを推奨する。
重要なことに、推奨ノルムは対応する MGF の指数モーメント境界を回復するだけでなく、ホーフディングの準ガウス濃度の不等式もより強くする。
実際、"color{black} は、サブガウスプロットによって有限のサンプルサイズでサブガウスデータをチェックする直感的な方法を提案する。
固有モーメントノルムは、単純なプラグインアプローチで頑健に推定できる。
理論結果は多腕バンディットを含む非漸近解析に適用できる。
関連論文リスト
- Effect of Random Learning Rate: Theoretical Analysis of SGD Dynamics in Non-Convex Optimization via Stationary Distribution [6.144680854063938]
本研究では,その収束特性を明らかにするために,ランダムな学習率を持つ勾配降下(SGD)の変種を考察する。
ポアソンSGDによって更新されたパラメータの分布は、弱い仮定の下で定常分布に収束することを示した。
論文 参考訳（メタデータ） (2024-06-23T06:52:33Z) - Taming Nonconvex Stochastic Mirror Descent with General Bregman
Divergence [25.717501580080846]
本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。
トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-27T17:56:49Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to
Improve Generalization [89.7882166459412]
勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。
深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。
低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
論文 参考訳（メタデータ） (2021-03-31T16:08:06Z) - Variational Laplace for Bayesian neural networks [25.055754094939527]
Variational Laplaceは、ニューラルネットワークの重みをサンプリングすることなく、ELBOを推定する可能性の局所近似を利用する。
分散パラメータの学習率を増加させることで早期停止を回避できることを示す。
論文 参考訳（メタデータ） (2021-02-27T14:06:29Z) - Marginalised Gaussian Processes with Nested Sampling [10.495114898741203]
ガウス過程(GP)モデルは、カーネル関数によって制御される帰納バイアスを持つ関数上の豊富な分布である。
本研究は,Nested Smpling (NS) を用いてカーネル関数のハイパーパラメータを疎外する学習手法を提案する。
論文 参考訳（メタデータ） (2020-10-30T16:04:35Z) - SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for
Gaussian Process Regression with Derivatives [86.01677297601624]
本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。
我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
論文 参考訳（メタデータ） (2020-03-05T14:33:20Z) - Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications [6.034622792544481]
ガウス行列が集合上の近距離等距離となる場合について検討する。
我々は、ガウス以下のノルムに対するこれまでの最もよく知られた依存は準最適であることを示した。
また、部分指数確率変数に対する新しいベルンシュタイン型不等式や、準ガウス確率変数の二次形式に対する新しいハンソン-ライト不等式も開発する。
論文 参考訳（メタデータ） (2020-01-28T23:06:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。