論文の概要: Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes

• arxiv url: http://arxiv.org/abs/2401.04286v1
• Date: Mon, 8 Jan 2024 23:54:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 17:13:33.093168
• Title: Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
• Title（参考訳）: Kolmogorov-Donoho 最適関数クラスに対するワイドおよびディープReLUニューラルネットワークの普遍一貫性と最小収束率
• Authors: Hyunouk Ko and Xiaoming Huo
• Abstract要約: まず、FL93の結果を拡張し、ロジスティック損失に基づいて訓練された広帯域かつ深いReLUニューラルネットワークに基づく分類規則の普遍的整合性を証明する。 我々の証明は、経験的リスク最小化の最近の進展と様々な機能クラスに対する深部ReLUニューラルネットワークの近似率に関するものである。
• 参考スコア（独自算出の注目度）: 7.433327915285969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we first extend the result of FL93 and prove universal consistency for a classification rule based on wide and deep ReLU neural networks trained on the logistic loss. Unlike the approach in FL93 that decomposes the estimation and empirical error, we directly analyze the classification risk based on the observation that a realization of a neural network that is wide enough is capable of interpolating an arbitrary number of points. Secondly, we give sufficient conditions for a class of probability measures under which classifiers based on neural networks achieve minimax optimal rates of convergence. Our result is motivated from the practitioner's observation that neural networks are often trained to achieve 0 training error, which is the case for our proposed neural network classifiers. Our proofs hinge on recent developments in empirical risk minimization and on approximation rates of deep ReLU neural networks for various function classes of interest. Applications to classical function spaces of smoothness illustrate the usefulness of our result.
• Abstract（参考訳）: 本稿では,まずfl93の結果を拡張し,ロジスティック損失を訓練した広大かつ深いreluニューラルネットワークに基づく分類規則の普遍的一貫性を証明する。 推定と経験的誤差を分解するfl93のアプローチとは異なり、十分な広さを持つニューラルネットワークの実現によって任意の数の点を補間できるという観測に基づいて、分類リスクを直接分析する。 第二に、ニューラルネットワークに基づく分類器が収束の最小値を達成する確率尺度のクラスに対して十分な条件を与える。 その結果,提案するニューラルネットワーク分類器の場合,ニューラルネットワークは0のトレーニングエラーを達成するために訓練されることが多かった。 この証明は,最近の経験的リスク最小化の進展と,様々な関心関数クラスに対する深層reluニューラルネットワークの近似率にかかっている。 滑らかな古典関数空間への応用は、我々の結果の有用性を示している。

関連論文リスト

• On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
  本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。 ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
  論文  参考訳（メタデータ） (2023-09-26T17:14:10Z)
• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
  ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。 我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
  論文  参考訳（メタデータ） (2021-11-23T20:31:42Z)
• Non-Gradient Manifold Neural Network [79.44066256794187]
  ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。 非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:39:13Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。