論文の概要: Finite-Sample Analysis of Learning High-Dimensional Single ReLU Neuron

• arxiv url: http://arxiv.org/abs/2303.02255v2
• Date: Mon, 26 Jun 2023 16:39:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-27 23:30:32.574222
• Title: Finite-Sample Analysis of Learning High-Dimensional Single ReLU Neuron
• Title（参考訳）: 学習用高次元単一reluニューロンの有限サンプル解析
• Authors: Jingfeng Wu and Difan Zou and Zixiang Chen and Vladimir Braverman and Quanquan Gu and Sham M. Kakade
• Abstract要約: 我々は、GLM-tronと呼ばれるパーセプトロン型アルゴリズムを解析し、その次元自由リスク上限を高次元ReLU回帰のために提供する。 以上の結果から,GLM-tronは高次元ReLU回帰においてSGDよりも好ましい可能性が示唆された。
• 参考スコア（独自算出の注目度）: 121.10338065441417
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers the problem of learning a single ReLU neuron with squared loss (a.k.a., ReLU regression) in the overparameterized regime, where the input dimension can exceed the number of samples. We analyze a Perceptron-type algorithm called GLM-tron (Kakade et al., 2011) and provide its dimension-free risk upper bounds for high-dimensional ReLU regression in both well-specified and misspecified settings. Our risk bounds recover several existing results as special cases. Moreover, in the well-specified setting, we provide an instance-wise matching risk lower bound for GLM-tron. Our upper and lower risk bounds provide a sharp characterization of the high-dimensional ReLU regression problems that can be learned via GLM-tron. On the other hand, we provide some negative results for stochastic gradient descent (SGD) for ReLU regression with symmetric Bernoulli data: if the model is well-specified, the excess risk of SGD is provably no better than that of GLM-tron ignoring constant factors, for each problem instance; and in the noiseless case, GLM-tron can achieve a small risk while SGD unavoidably suffers from a constant risk in expectation. These results together suggest that GLM-tron might be preferable to SGD for high-dimensional ReLU regression.
• Abstract（参考訳）: 本稿では、入力次元がサンプル数を超える過パラメータ化された状態において、1つのReLUニューロンを2乗損失(すなわちReLU回帰)で学習する問題を考察する。 我々は,glm-tron (kakade et al., 2011) と呼ばれるパーセプトロン型アルゴリズムを解析し,その次元フリーリスク上限を高次元relu回帰に与えた。 我々のリスク・バウンドは、いくつかの既存の結果を特別のケースとして回収する。 さらに、よく特定された設定では、glam-tron のインスタンス間マッチングリスクローバウンドを提供する。 我々の上下のリスク境界は、GLM-tronを通して学習できる高次元ReLU回帰問題の鋭い特徴を与える。 一方,対称なベルヌーイデータを持つrelu回帰に対する確率的勾配降下 (sgd) については,いくつかの否定的な結果が得られた: モデルが十分に特定されているならば,sgdの過剰なリスクは,各問題例において一定の因子を無視するglm-tronのリスクよりも証明可能であり,無音の場合,sgdが期待値の一定のリスクを負う一方で,glm-tronは小さいリスクを達成できる。 これらの結果から,glm-tronはsgdよりも高次元relu回帰に適していることが示唆された。

関連論文リスト

• Precise analysis of ridge interpolators under heavy correlations -- a Random Duality Theory view [0.0]
  EmphRandom Duality Theory (RDT) を用いて, 関心量の最適化に係わるすべての推定器の正確なクローズドな形状のキャラクタリゼーションが得られることを示す。
  論文  参考訳（メタデータ） (2024-06-13T14:56:52Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Global Convergence of Sub-gradient Method for Robust Matrix Recovery: Small Initialization, Noisy Measurements, and Over-parameterization [4.7464518249313805]
  サブグラディエント法(Sub-gradient method, SubGM)は, 限られた測定値から低ランク行列を復元するために用いられる。 我々は、SubGMが任意の大きさの高密度ノイズ値の下でも、真の解に収束することを示す。
  論文  参考訳（メタデータ） (2022-02-17T17:50:04Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• A general sample complexity analysis of vanilla policy gradient [101.16957584135767]
  政策勾配(PG)は、最も一般的な強化学習(RL)問題の1つである。 PG軌道の「バニラ」理論的理解は、RL問題を解く最も一般的な方法の1つである。
  論文  参考訳（メタデータ） (2021-07-23T19:38:17Z)
• Fast OSCAR and OWL Regression via Safe Screening Rules [97.28167655721766]
  順序付き$L_1$ (OWL)正規化回帰は、高次元スパース学習のための新しい回帰分析である。 近勾配法はOWL回帰を解くための標準手法として用いられる。 未知の順序構造を持つ原始解の順序を探索することにより、OWL回帰の最初の安全なスクリーニングルールを提案する。
  論文  参考訳（メタデータ） (2020-06-29T23:35:53Z)
• Globally-convergent Iteratively Reweighted Least Squares for Robust Regression Problems [15.823258699608994]
  我々は、ロバスト回帰問題に対するIRLS(暫定的に重み付けされた最小二乗)に対する最初のグローバルモデル回復結果を提供する。 我々は、保証されたグローバルリカバリを提供するだけでなく、実際にロバストレグレッションのための最先端のアルゴリズムよりも優れている基本IRLSルーチンの拡張を提案する。
  論文  参考訳（メタデータ） (2020-06-25T07:16:13Z)
• Interpolating Predictors in High-Dimensional Factor Regression [2.1055643409860743]
  この研究は、高次元回帰モデルにおける最小ノルム補間予測子のリスクの有限サンプル特性を研究する。 主成分回帰と隆起回帰に基づいて予測器に類似したリスクを負うことができ、高次元状態においてLASSOに基づく予測器よりも改善できることを示す。
  論文  参考訳（メタデータ） (2020-02-06T22:08:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。