論文の概要: On the Subbagging Estimation for Massive Data
- arxiv url: http://arxiv.org/abs/2103.00631v1
- Date: Sun, 28 Feb 2021 21:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 14:43:54.409822
- Title: On the Subbagging Estimation for Massive Data
- Title（参考訳）: 大規模データのサブバッギング推定について
- Authors: Tao Zou, Xian Li, Xuan Liang, Hansheng Wang
- Abstract要約: 本稿では,コンピュータのメモリ制約を伴うビッグデータ解析のためのサブバッキング(サブサンプル集約)推定手法を紹介する。
サイズ$N$のデータセット全体に対して、$m_N$サブサンプルはランダムに描画され、メモリ制約を満たすためにサブサンプルサイズ$k_Nll N$を持つ各サブサンプルは、交換なしで均一にサンプリングされる。
アメリカン航空のデータセットを分析して、サブバッキング推定が全サンプル推定に数値的に近く、メモリ制約下では計算速度が速いことを示す。
- 参考スコア（独自算出の注目度）: 10.902757578215255
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This article introduces subbagging (subsample aggregating) estimation
approaches for big data analysis with memory constraints of computers.
Specifically, for the whole dataset with size $N$, $m_N$ subsamples are
randomly drawn, and each subsample with a subsample size $k_N\ll N$ to meet the
memory constraint is sampled uniformly without replacement. Aggregating the
estimators of $m_N$ subsamples can lead to subbagging estimation. To analyze
the theoretical properties of the subbagging estimator, we adapt the incomplete
$U$-statistics theory with an infinite order kernel to allow overlapping drawn
subsamples in the sampling procedure. Utilizing this novel theoretical
framework, we demonstrate that via a proper hyperparameter selection of $k_N$
and $m_N$, the subbagging estimator can achieve $\sqrt{N}$-consistency and
asymptotic normality under the condition $(k_Nm_N)/N\to \alpha \in (0,\infty]$.
Compared to the full sample estimator, we theoretically show that the
$\sqrt{N}$-consistent subbagging estimator has an inflation rate of $1/\alpha$
in its asymptotic variance. Simulation experiments are presented to demonstrate
the finite sample performances. An American airline dataset is analyzed to
illustrate that the subbagging estimate is numerically close to the full sample
estimate, and can be computationally fast under the memory constraint.
- Abstract（参考訳）: 本稿では,コンピュータのメモリ制約を伴うビッグデータ解析のためのサブバッキング(サブサンプル集約)推定手法を紹介する。
具体的には、サイズが$N$のデータセット全体に対して、$m_N$サブサンプルをランダムに描画し、メモリ制約を満たすためにサブサンプルサイズ$k_N\ll N$のサブサンプルを、置き換えることなく一様にサンプリングする。
m_N$サブサンプルの見積もりを集約すると、サブバグ推定につながります。
サブバッグング推定器の理論的特性を解析するために、無限次カーネルで不完全$U$-statistics理論を適用し、サンプリング手順において重なり合うサブサンプルを許容する。
この新しい理論的な枠組みを用いて,$k_n$ と $m_n$ の適切なハイパーパラメータ選択により,サブバッキング推定器が $(k_nm_n)/n\to \alpha \in (0,\infty]$ 条件下で $\sqrt{n}$-consistency と漸近正規性を達成することを実証する。
完全なサンプル推定器と比較すると、理論的には$\sqrt{n}$- consistent subbagging 推定器は漸近的分散において1/\alpha$のインフレーション率を持つ。
有限サンプル性能を示すためにシミュレーション実験を行った。
アメリカン航空のデータセットを分析して、サブバッキング推定が全サンプル推定に数値的に近く、メモリ制約下では計算速度が速いことを示す。
関連論文リスト
- Statistical-Computational Trade-offs for Density Estimation [60.81548752871115]
幅広い種類のデータ構造に対して、それらの境界は著しく改善されないことを示す。
これは密度推定のための新しい統計計算トレードオフである。
論文 参考訳（メタデータ） (2024-10-30T15:03:33Z) - Precise Asymptotics of Bagging Regularized M-estimators [5.165142221427928]
我々は,アンサンブル推定器の正方形予測リスクを,正規化M値推定器のサブタグ化(サブサンプルブートストラップ集約)により特徴付ける。
我々の分析の鍵は、重なり合うサブサンプル上の推定値と残差との相関関係の結合挙動に関する新しい結果である。
サブサンプルサイズ,アンサンブルサイズ,正規化の併用最適化は,全データに対してのみ,正規化器の最適化を著しく上回る。
論文 参考訳（メタデータ） (2024-09-23T17:48:28Z) - Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - Convergence Analysis of Probability Flow ODE for Score-based Generative Models [5.939858158928473]
確率フローODEに基づく決定論的サンプリング器の収束特性を理論的・数値的両面から検討する。
連続時間レベルでは、ターゲットと生成されたデータ分布の総変動を$mathcalO(d3/4delta1/2)$で表すことができる。
論文 参考訳（メタデータ） (2024-04-15T12:29:28Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳（メタデータ） (2023-12-28T02:52:54Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。
我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
論文 参考訳（メタデータ） (2022-07-16T03:09:30Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳（メタデータ） (2021-08-25T21:30:27Z) - Maximum sampled conditional likelihood for informative subsampling [4.708378681950648]
サブサンプリングは、計算資源が限られているときに大量のデータセットから情報を抽出する、計算学的に効果的な手法である。
そこで本研究では,サンプルデータに基づく最大条件付き確率推定器(MSCLE)を提案する。
論文 参考訳（メタデータ） (2020-11-11T16:01:17Z) - Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and
Variance Reduction [63.41789556777387]
非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。
Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
論文 参考訳（メタデータ） (2020-06-04T17:51:00Z) - Error bounds in estimating the out-of-sample prediction error using
leave-one-out cross validation in high-dimensions [19.439945058410203]
高次元状態におけるサンプル外リスク推定の問題について検討する。
広範囲にわたる経験的証拠は、アウト・ワン・アウト・クロス・バリデーションの正確さを裏付ける。
この理論の技術的利点の1つは、拡張可能な近似LOに関する最近の文献から得られたいくつかの結果を明確化し、接続することができることである。
論文 参考訳（メタデータ） (2020-03-03T20:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。