論文の概要: Statistical Properties of Deep Neural Networks with Dependent Data

• arxiv url: http://arxiv.org/abs/2410.11113v1
• Date: Mon, 14 Oct 2024 21:46:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:25.237408
• Title: Statistical Properties of Deep Neural Networks with Dependent Data
• Title（参考訳）: 依存データを用いたディープニューラルネットワークの統計的特性
• Authors: Chad Brown,
• Abstract要約: 本稿では, ディープニューラルネットワーク (DNN) 推定器の統計特性について, 従属データに基づく検討を行った。 結果は、部分的に線形回帰モデルの有限次元パラメータ上でどのように推論を行うことができるかを示すために用いられる。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper establishes statistical properties of deep neural network (DNN) estimators under dependent data. Two general results for nonparametric sieve estimators directly applicable to DNNs estimators are given. The first establishes rates for convergence in probability under nonstationary data. The second provides non-asymptotic probability bounds on $\mathcal{L}^{2}$-errors under stationary $\beta$-mixing data. I apply these results to DNN estimators in both regression and classification contexts imposing only a standard H\"older smoothness assumption. These results are then used to demonstrate how asymptotic inference can be conducted on the finite dimensional parameter of a partially linear regression model after first-stage DNN estimation of infinite dimensional parameters. The DNN architectures considered are common in applications, featuring fully connected feedforward networks with any continuous piecewise linear activation function, unbounded weights, and a width and depth that grows with sample size. The framework provided also offers potential for research into other DNN architectures and time-series applications.
• Abstract（参考訳）: 本稿では, ディープニューラルネットワーク (DNN) 推定器の統計特性について, 従属データに基づく検討を行った。 DNNに直接適用可能な非パラメトリックシーブ推定器の2つの一般的な結果が与えられる。 第一に、非定常データの下で確率の収束率を確立する。 2つ目は、静的な$\beta$-mixingデータの下で$\mathcal{L}^{2}$-errorsの非漸近確率境界を提供する。 これらの結果は、標準H\"古い滑らかさの仮定のみを暗示する回帰と分類の両方の文脈におけるDNN推定子に適用する。 これらの結果は、無限次元パラメータの第一段階DNN推定の後、部分線形回帰モデルの有限次元パラメータにおいて漸近的推論がどのように実行できるかを示すために用いられる。 考慮されているDNNアーキテクチャはアプリケーションで一般的であり、完全な接続されたフィードフォワードネットワークと、連続的な一方向線形活性化関数、非有界重み、サンプルサイズで成長する幅と深さを備える。 このフレームワークは、他のDNNアーキテクチャや時系列アプリケーションの研究の可能性も提供する。

関連論文リスト

• Inference in Partially Linear Models under Dependent Data with Deep Neural Networks [0.0]
  1次ディープニューラルネットワーク(DNN)推定後の定常$beta$-mixingデータに基づく部分線形回帰モデルにおける推論について考察する。 サンプル分割を避けることで、依存データを持つ計量モデルに機械学習技術を適用する際の重要な課題の1つに対処する。
  論文  参考訳（メタデータ） (2024-10-29T22:29:31Z)
• Scalable Subsampling Inference for Deep Neural Networks [0.0]
  完全連結DNN推定器の性能を測定するために,非漸近誤差境界が開発された。 非ランダムなサブサンプリング手法--scalable subsampling-を応用し、サブタグ付きDNN推定器を構築する。 提案された信頼/予測間隔は有限サンプルでうまく機能しているように見える。
  論文  参考訳（メタデータ） (2024-05-14T02:11:38Z)
• On Generalization Bounds for Deep Compound Gaussian Neural Networks [1.4425878137951238]
  Unrolled Deep Neural Network(DNN)は、標準的なDNNよりも優れた解釈性と優れた経験的パフォーマンスを提供する。 本稿では,複合ガウス事前情報に基づく非学習型DNNのクラスに対する新しい一般化誤差境界を開発する。 現実的な条件下では、最悪の場合、一般化誤差は信号次元で$mathcalO(nsqrt(n))$、ネットワークサイズで$mathcalO(($Network Size$)3/2)$である。
  論文  参考訳（メタデータ） (2024-02-20T16:01:39Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Integrating Random Effects in Deep Neural Networks [4.860671253873579]
  深層ニューラルネットワークにおける相関データを扱うために混合モデルフレームワークを提案する。 相関構造に基づく効果をランダムな効果として扱うことにより、混合モデルは過度に適合したパラメータ推定を避けることができる。 LMMNNと呼ばれる我々のアプローチは、様々な相関シナリオにおいて、自然競合よりも性能を向上させることが実証されている。
  論文  参考訳（メタデータ） (2022-06-07T14:02:24Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Distribution Approximation and Statistical Estimation Guarantees of Generative Adversarial Networks [82.61546580149427]
  GAN(Generative Adversarial Networks)は教師なし学習において大きな成功を収めている。 本稿では,H'older空間における密度データ分布推定のためのGANの近似と統計的保証を提供する。
  論文  参考訳（メタデータ） (2020-02-10T16:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。