論文の概要: Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality
- arxiv url: http://arxiv.org/abs/2406.08321v1
- Date: Wed, 12 Jun 2024 15:21:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-13 16:16:39.866749
- Title: Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality
- Title（参考訳）: 強混合観測による深層学習:スパースペナル化正規化と極小最適性
- Authors: William Kengne, Modou Wade,
- Abstract要約: ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
正方形と幅広い損失関数を扱う。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The explicit regularization and optimality of deep neural networks estimators from independent data have made considerable progress recently. The study of such properties on dependent data is still a challenge. In this paper, we carry out deep learning from strongly mixing observations, and deal with the squared and a broad class of loss functions. We consider sparse-penalized regularization for deep neural network predictor. For a general framework that includes, regression estimation, classification, time series prediction,$\cdots$, oracle inequality for the expected excess risk is established and a bound on the class of H\"older smooth functions is provided. For nonparametric regression from strong mixing data and sub-exponentially error, we provide an oracle inequality for the $L_2$ error and investigate an upper bound of this error on a class of H\"older composition functions. For the specific case of nonparametric autoregression with Gaussian and Laplace errors, a lower bound of the $L_2$ error on this H\"older composition class is established. Up to logarithmic factor, this bound matches its upper bound; so, the deep neural network estimator attains the minimax optimal rate.
- Abstract（参考訳）: 独立データからのディープニューラルネットワーク推定器の明確な正規化と最適性は、最近かなりの進歩を遂げている。
依存データに対するそのような特性の研究は依然として課題である。
本稿では,強い混合観測から深層学習を行い,二乗および広範な損失関数を扱う。
ディープニューラルネットワーク予測器のスパースペナル化正規化について検討する。
回帰推定、分類、時系列予測、$\cdots$,oracle inequality for the expected excess risk, and a bound on the class of H\"older smooth function。
強混合データと準指数誤差からの非パラメトリック回帰に対しては、$L_2$誤差に対してオラクル不等式を提供し、H\"古い合成関数のクラスにおけるこの誤差の上限について検討する。
ガウス誤差とラプラス誤差による非パラメトリック自己回帰の特定の場合、このH\"古い合成クラスにおける$L_2$誤差の下位境界が確立される。
対数係数において、このバウンダリはその上限値と一致するので、ディープニューラルネットワーク推定器はミニマックス最適速度に達する。
関連論文リスト
- Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds [3.9041951045689305]
Schmidt-Hieber (2020) は、最小二乗回帰推定のためにReLuを活性化したディープニューラルネットワークの最小最適性を証明した。
我々は、最小二乗およびロジスティック回帰を含むより一般的な機械学習問題について研究する。
我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
論文 参考訳（メタデータ） (2024-10-29T03:37:02Z) - Robust deep learning from weakly dependent data [0.0]
本稿では, 弱い依存度を持つ観測結果から, 非有界損失関数と非有界入力/出力を含む頑健な深層学習を考察する。
これらの境界と$r$の関係を導き、データが任意の順序のモーメント(すなわち$r=infty$)を持つとき、収束率はよく知られた結果に近い。
論文 参考訳（メタデータ） (2024-05-08T14:25:40Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - A PAC-Bayes oracle inequality for sparse neural networks [0.0]
非パラメトリック回帰条件下で, スパースディープニューラルネットのギブス後部分布について検討した。
この方法が回帰関数の未知の正則性と階層構造に適応することを示すオラクルの不等式を証明する。
論文 参考訳（メタデータ） (2022-04-26T15:48:24Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳（メタデータ） (2020-11-18T07:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。