論文の概要: Deep Neural Networks for Nonparametric Interaction Models with Diverging
Dimension
- arxiv url: http://arxiv.org/abs/2302.05851v1
- Date: Sun, 12 Feb 2023 04:19:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 18:05:31.311808
- Title: Deep Neural Networks for Nonparametric Interaction Models with Diverging
Dimension
- Title（参考訳）: 分散次元を持つ非パラメトリック相互作用モデルのためのディープニューラルネットワーク
- Authors: Sohom Bhattacharya, Jianqing Fan and Debarghya Mukherjee
- Abstract要約: 成長次元シナリオ (d$ grows with $n$ but at a slow rate) と高次元 (dgtrsim n$) の両方において、$kth$オーダーの非パラメトリック相互作用モデルを分析する。
特定の標準仮定の下では、デバイアスドディープニューラルネットワークは、$(n, d)$の両面において、極小値の最適値を達成している。
- 参考スコア（独自算出の注目度）: 6.939768185086753
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep neural networks have achieved tremendous success due to their
representation power and adaptation to low-dimensional structures. Their
potential for estimating structured regression functions has been recently
established in the literature. However, most of the studies require the input
dimension to be fixed and consequently ignore the effect of dimension on the
rate of convergence and hamper their applications to modern big data with high
dimensionality. In this paper, we bridge this gap by analyzing a $k^{th}$ order
nonparametric interaction model in both growing dimension scenarios ($d$ grows
with $n$ but at a slower rate) and in high dimension ($d \gtrsim n$). In the
latter case, sparsity assumptions and associated regularization are required in
order to obtain optimal rates of convergence. A new challenge in diverging
dimension setting is in calculation mean-square error, the covariance terms
among estimated additive components are an order of magnitude larger than those
of the variances and they can deteriorate statistical properties without proper
care. We introduce a critical debiasing technique to amend the problem. We show
that under certain standard assumptions, debiased deep neural networks achieve
a minimax optimal rate both in terms of $(n, d)$. Our proof techniques rely
crucially on a novel debiasing technique that makes the covariances of additive
components negligible in the mean-square error calculation. In addition, we
establish the matching lower bounds.
- Abstract（参考訳）: ディープニューラルネットワークは、その表現力と低次元構造への適応によって大きな成功を収めた。
構造化回帰関数を推定する可能性は最近文献で確立されている。
しかし、ほとんどの研究は入力次元を固定し、従って収束率に対する次元の影響を無視し、その応用を高次元の現代ビッグデータに適用することを要求している。
本稿では,拡大次元シナリオ(d$は$n$で成長するが,遅いレートで成長する)と高次元(d$gtrsim n$)の両方において,k^{th}$の非パラメトリック相互作用モデルを分析することにより,このギャップを埋める。
後者の場合、最適収束率を得るためにスパーシティ仮定と関連する正規化が必要である。
次元変化の新たな課題は平均二乗誤差の計算であり、推定加法成分間の共分散項は、分散の次数よりも大きく、適切な注意なしに統計的性質を劣化させることができる。
我々はこの問題を修正するために批判的デバイアス手法を導入する。
特定の標準仮定の下では、デバイアスドディープニューラルネットワークは、どちらも$(n, d)$という条件で、最小値の最適値を達成する。
提案手法は, 平均二乗誤差計算において加法成分の共分散を無視できる新しいデバイアス手法に依存している。
さらに、一致した下界を確立する。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Sample Complexity of Nonparametric Off-Policy Evaluation on
Low-Dimensional Manifolds using Deep Networks [71.95722100511627]
深層ニューラルネットワークを用いた強化学習における非政治的評価問題について考察する。
ネットワークサイズを適切に選択することにより、マルコフ決定過程において低次元多様体構造を利用することができることを示す。
論文 参考訳（メタデータ） (2022-06-06T20:25:20Z) - Structure and Distribution Metric for Quantifying the Quality of
Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural
Operators for Regression [0.0]
回帰タスクの任意の次元に実装できる2つの比較指標を提案する。
構造計量は、真の誤差と不確かさの形状と位置の類似性を評価する一方、分布計量は、支持された2つの大きさを定量化する。
これらのメトリクスを高次元および非線形テストケースにおけるガウス過程(GP)、アンサンブルディープニューラルネット(DNN)、およびアンサンブルディープニューラルオペレータ(DNO)に適用する。
論文 参考訳（メタデータ） (2022-03-09T04:16:31Z) - Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文 参考訳（メタデータ） (2021-10-07T17:42:44Z) - The Rate of Convergence of Variation-Constrained Deep Neural Networks [35.393855471751756]
変動制約のあるニューラルネットワークのクラスは、任意に小さな定数$delta$に対して、ほぼパラメトリックレート$n-1/2+delta$を達成することができることを示す。
その結果、滑らかな関数の近似に必要な神経機能空間は、しばしば知覚されるものほど大きくない可能性が示唆された。
論文 参考訳（メタデータ） (2021-06-22T21:28:00Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Post-mortem on a deep learning contest: a Simpson's paradox and the
complementary roles of scale metrics versus shape metrics [61.49826776409194]
我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。
メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。
本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
論文 参考訳（メタデータ） (2021-06-01T19:19:49Z) - Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in
High Dimensions [41.7567932118769]
経験的リスク最小化アルゴリズムは、様々な推定や予測タスクで広く利用されている。
本稿では,コンベックスEMMの統計的精度に関する基礎的限界を推論のために初めて特徴づける。
論文 参考訳（メタデータ） (2020-06-16T04:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。