論文の概要: Trade-off Between Dependence and Complexity for Nonparametric Learning
-- an Empirical Process Approach
- arxiv url: http://arxiv.org/abs/2401.08978v1
- Date: Wed, 17 Jan 2024 05:08:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 17:03:12.240052
- Title: Trade-off Between Dependence and Complexity for Nonparametric Learning
-- an Empirical Process Approach
- Title（参考訳）: 非パラメトリック学習における依存度と複雑性のトレードオフ - 経験的プロセスアプローチ
- Authors: Nabarun Deb and Debarghya Mukherjee
- Abstract要約: データが時間的依存を示す多くのアプリケーションでは、対応する経験的プロセスは理解されていない。
標準的な$beta/rho$-mixingの仮定の下では、経験過程の期待上限に一般化する。
長距離依存下であっても、i.d.設定と同じ速度で達成できることが示される。
- 参考スコア（独自算出の注目度）: 10.27974860479791
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Empirical process theory for i.i.d. observations has emerged as a ubiquitous
tool for understanding the generalization properties of various statistical
problems. However, in many applications where the data exhibit temporal
dependencies (e.g., in finance, medical imaging, weather forecasting etc.), the
corresponding empirical processes are much less understood. Motivated by this
observation, we present a general bound on the expected supremum of empirical
processes under standard $\beta/\rho$-mixing assumptions. Unlike most prior
work, our results cover both the long and the short-range regimes of
dependence. Our main result shows that a non-trivial trade-off between the
complexity of the underlying function class and the dependence among the
observations characterizes the learning rate in a large class of nonparametric
problems. This trade-off reveals a new phenomenon, namely that even under
long-range dependence, it is possible to attain the same rates as in the i.i.d.
setting, provided the underlying function class is complex enough. We
demonstrate the practical implications of our findings by analyzing various
statistical estimators in both fixed and growing dimensions. Our main examples
include a comprehensive case study of generalization error bounds in
nonparametric regression over smoothness classes in fixed as well as growing
dimension using neural nets, shape-restricted multivariate convex regression,
estimating the optimal transport (Wasserstein) distance between two probability
distributions, and classification under the Mammen-Tsybakov margin condition --
all under appropriate mixing assumptions. In the process, we also develop
bounds on $L_r$ ($1\le r\le 2$)-localized empirical processes with dependent
observations, which we then leverage to get faster rates for (a) tuning-free
adaptation, and (b) set-structured learning problems.
- Abstract（参考訳）: i.d.観測のための経験的プロセス理論は、様々な統計問題の一般化特性を理解するためのユビキタスツールとして登場した。
しかし、データが時間的依存性(金融、医用画像、気象予報など)を示す多くのアプリケーションでは、対応する経験的プロセスがあまり理解されていない。
この観測により、標準的な$\beta/\rho$-mixingの仮定の下で、経験的過程の期待上限に一般化する。
ほとんどの先行研究と異なり、この結果は長期依存と短期依存の両方をカバーしている。
本研究の主な結果は,基礎となる関数クラスの複雑性と観察間の依存性との非自明なトレードオフが,非パラメトリック問題の学習率を特徴付けることを示した。
このトレードオフは、函数クラスが十分複雑であれば、長距離依存下であっても、i.d.設定と同じ速度を達成できるという新しい現象を明らかにしている。
固定次元および成長次元の様々な統計的推定器を解析することにより,本研究の意義を実証する。
主な例は,固定された平滑度クラス上の非パラメトリック回帰における一般化誤差境界の包括的ケーススタディ,ニューラルネットを用いた拡大次元,形状制限付き多変量凸回帰,2つの確率分布間の最適輸送(wasserstein)距離の推定,mammen-tsybakovマージン条件下での分類などである。
この過程では、l_r$ ($1\le r\le 2$)-ローカライズされた経験的プロセスの境界を従属観察で開発し、より速いレートを得るために活用する。
(a)チューニングなし適応、及び
(b)設定型学習問題。
関連論文リスト
- A U-turn on Double Descent: Rethinking Parameter Counting in Statistical
Learning [68.76846801719095]
二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。
これは二重降下と統計的直観の間の緊張を解消する。
論文 参考訳（メタデータ） (2023-10-29T12:05:39Z) - Mutual Information Estimation via $f$-Divergence and Data Derangements [6.43826005042477]
本稿では,$f$-divergenceの変動表現に基づく,新たな識別情報推定手法を提案する。
提案した推定器は、優れたバイアス/分散トレードオフを示すため、柔軟である。
論文 参考訳（メタデータ） (2023-05-31T16:54:25Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳（メタデータ） (2021-12-07T01:23:20Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳（メタデータ） (2021-12-02T14:45:16Z) - Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:42:44Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳（メタデータ） (2021-06-07T17:47:16Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳（メタデータ） (2020-11-18T07:59:55Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。
本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。
また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文 参考訳（メタデータ） (2020-06-14T12:47:34Z) - Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。
分散による離散乗法雑音のパラメータによく現れることを示す。
最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
論文 参考訳（メタデータ） (2020-06-11T09:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。