論文の概要: On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
- arxiv url: http://arxiv.org/abs/2109.02224v1
- Date: Mon, 6 Sep 2021 03:30:03 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-08 02:49:29.240561
- Title: On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
- Title（参考訳）: 従属データと重機データによる経験的リスク最小化について
- Authors: Abhishek Roy, Krishnakumar Balasubramanian, Murat A. Erdogdu
- Abstract要約: 経験的リスク最小化(Empirical Risk Minimization:ERM)のリスクバウンダリを確立する。
本稿では,高次元線形回帰問題に対する収束率を依存データと重み付きデータを用いて導出した結果について述べる。
- 参考スコア（独自算出の注目度）: 22.75145142501352
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this work, we establish risk bounds for the Empirical Risk Minimization
(ERM) with both dependent and heavy-tailed data-generating processes. We do so
by extending the seminal works of Mendelson [Men15, Men18] on the analysis of
ERM with heavy-tailed but independent and identically distributed observations,
to the strictly stationary exponentially $\beta$-mixing case. Our analysis is
based on explicitly controlling the multiplier process arising from the
interaction between the noise and the function evaluations on inputs. It allows
for the interaction to be even polynomially heavy-tailed, which covers a
significantly large class of heavy-tailed models beyond what is analyzed in the
learning theory literature. We illustrate our results by deriving rates of
convergence for the high-dimensional linear regression problem with dependent
and heavy-tailed data.
- Abstract（参考訳）: 本研究では,データ生成過程と重み付きデータ生成プロセスの両方において,経験的リスク最小化(erm)のリスク境界を確立する。
メンデルソン [Men15, Men18] の、重尾を持つが独立かつ同一に分布する観察によるERMの分析を、厳密な指数関数的に$\beta$-mixing のケースに拡張することで行う。
本分析は,入力に対する雑音と関数評価との相互作用から生じる乗算過程を明示的に制御することに基づく。
これにより、相互作用は多項式的に重く、学習理論の文献で解析される以上の非常に大きな重尾モデルのクラスをカバーすることができる。
重み付きデータを含む高次元線形回帰問題に対する収束率を導出することにより,結果を示す。
関連論文リスト
- Random Features Outperform Linear Models: Effect of Strong Input-Label Correlation in Spiked Covariance Data [0.8287206589886879]
入力とラベルの間に高い相関関係があることが,RAMが線形モデルより優れていることを示す。
RFMは,入力とラベルの相関関係の強さに依存する雑音モデルと等価であることを示す。
論文 参考訳（メタデータ） (2024-09-30T12:40:45Z) - Trade-off Between Dependence and Complexity for Nonparametric Learning
-- an Empirical Process Approach [10.27974860479791]
データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。
標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。
長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
論文 参考訳（メタデータ） (2024-01-17T05:08:37Z) - A VAE Approach to Sample Multivariate Extremes [6.548734807475054]
本稿では,重み付き分布をサンプリングするための変分オートエンコーダ(VAE)アプローチについて述べる。
本研究は,ドナウ川流域における人工的データセットと実測値との関係について述べる。
テストデータセットの標準VAEよりも優れているだけでなく、競合するEVTベースの生成手法との比較も提供する。
論文 参考訳（メタデータ） (2023-06-19T14:53:40Z) - Understanding Augmentation-based Self-Supervised Representation Learning
via RKHS Approximation and Regression [53.15502562048627]
最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。
この研究は、増強に基づく事前訓練の統計的分析に発展する。
論文 参考訳（メタデータ） (2023-06-01T15:18:55Z) - Benign Overfitting in Time Series Linear Model with
Over-Parameterization [5.68558935178946]
複数の依存型に基づく推定器の過大なリスクの理論を考案する。
短期記憶プロセスにおけるリスクの収束率は、独立データの場合と同一であることを示す。
論文 参考訳（メタデータ） (2022-04-18T15:26:58Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Disentangling Observed Causal Effects from Latent Confounders using
Method of Moments [67.27068846108047]
我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。
我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
論文 参考訳（メタデータ） (2021-01-17T07:48:45Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳（メタデータ） (2020-06-14T12:47:34Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。