論文の概要: Quantile regression with deep ReLU Networks: Estimators and minimax
rates
- arxiv url: http://arxiv.org/abs/2010.08236v5
- Date: Fri, 18 Dec 2020 02:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 22:00:33.596872
- Title: Quantile regression with deep ReLU Networks: Estimators and minimax
rates
- Title（参考訳）: 深部ReLUネットワークを用いた量子回帰:推定器と最小値
- Authors: Oscar Hernan Madrid Padilla, Wesley Tansey, Yanzhen Chen
- Abstract要約: 線形整流ユニット(ReLU)ニューラルネットワークを用いた量子レグレッションについて検討する。
ReLUネットワークの期待平均2乗誤差の上限を導出する。
これらの厳密な境界は、量子レグレッションを持つReLUネットワークが、関数型の広いコレクションに対して最小値の速度を達成することを示唆している。
- 参考スコア（独自算出の注目度）: 4.522666263036413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantile regression is the task of estimating a specified percentile
response, such as the median, from a collection of known covariates. We study
quantile regression with rectified linear unit (ReLU) neural networks as the
chosen model class. We derive an upper bound on the expected mean squared error
of a ReLU network used to estimate any quantile conditional on a set of
covariates. This upper bound only depends on the best possible approximation
error, the number of layers in the network, and the number of nodes per layer.
We further show upper bounds that are tight for two large classes of functions:
compositions of H\"older functions and members of a Besov space. These tight
bounds imply ReLU networks with quantile regression achieve minimax rates for
broad collections of function types. Unlike existing work, the theoretical
results hold under minimal assumptions and apply to general error
distributions, including heavy-tailed distributions. Empirical simulations on a
suite of synthetic response functions demonstrate the theoretical results
translate to practical implementations of ReLU networks. Overall, the
theoretical and empirical results provide insight into the strong performance
of ReLU neural networks for quantile regression across a broad range of
function classes and error distributions. All code for this paper is publicly
available at https://github.com/tansey/quantile-regression.
- Abstract（参考訳）: 分位回帰 (quantile regression) は、既知の共変量の集合から、中央値のような特定のパーセンタイル応答を推定するタスクである。
relu(recurtified linear unit)ニューラルネットワークを用いた定性的回帰をモデルクラスとして検討した。
共変量集合上の任意の量子条件を推定するために使用されるReLUネットワークの期待平均2乗誤差の上界を導出する。
この上限は、可能な限りの近似誤差、ネットワーク内のレイヤ数、レイヤ毎のノード数にのみ依存する。
さらに、h\"older関数の合成とベゾフ空間の構成という2つの大きな関数のクラスに対して密接な上界を示す。
これらの厳密な境界は、量的回帰を持つreluネットワークが、関数型の幅広いコレクションのミニマックスレートを達成することを意味する。
既存の研究とは異なり、理論結果は最小限の仮定で成り立ち、重み付き分布を含む一般的な誤差分布に適用される。
一連の合成応答関数に関する実験シミュレーションは、理論結果がReLUネットワークの実装に変換されることを示す。
全体として、理論的および実証的な結果は、幅広い関数クラスとエラー分布にわたる量子回帰のためのReLUニューラルネットワークの強い性能に関する洞察を与える。
この論文のすべてのコードは、https://github.com/tansey/quantile-regressionで公開されている。
関連論文リスト
- Benign Overfitting for Regression with Trained Two-Layer ReLU Networks [14.36840959836957]
本稿では,2層完全連結ニューラルネットワークを用いた最小二乗回帰問題と,勾配流によるReLU活性化関数について検討する。
最初の結果は一般化結果であり、基礎となる回帰関数や、それらが有界であること以外のノイズを仮定する必要はない。
論文 参考訳（メタデータ） (2024-10-08T16:54:23Z) - Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳（メタデータ） (2024-01-08T23:54:46Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳（メタデータ） (2023-06-30T09:17:39Z) - Bagged Polynomial Regression and Neural Networks [0.0]
時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。
textitbagged regression (BPR)は、ニューラルネットワークの魅力的な代替品である。
BPRは、衛星データを用いた作物分類において、ニューラルネットワークと同様に機能する。
論文 参考訳（メタデータ） (2022-05-17T19:55:56Z) - Learning Quantile Functions without Quantile Crossing for
Distribution-free Time Series Forecasting [12.269597033369557]
本稿では,分散フリーな分布推定フレームワークであるIncrmental (Spline) Quantile Function I(S)QFを提案する。
また、シーケンス・ツー・シーケンス・セッティングに基づく提案手法の一般化誤差解析も提供する。
論文 参考訳（メタデータ） (2021-11-12T06:54:48Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity
on Pruned Neural Networks [79.74580058178594]
目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。
本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
論文 参考訳（メタデータ） (2021-10-12T01:11:07Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳（メタデータ） (2021-06-06T18:05:02Z) - Projection Neural Network for a Class of Sparse Regression Problems with
Cardinality Penalty [9.698438188398434]
対象関数は凸損失関数の和と基数ペナルティの和である。
濃度関数の平滑化関数を構築することにより、予測されたニューラルネットワークを提案し、この問題を解決するための補正法を設計する。
提案したニューラルネットワークの解は、ユニークな、グローバルな存在、有界な、そしてグローバルなリプシッツ連続である。
論文 参考訳（メタデータ） (2020-04-02T08:05:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。