論文の概要: Classification with Deep Neural Networks and Logistic Loss
- arxiv url: http://arxiv.org/abs/2307.16792v1
- Date: Mon, 31 Jul 2023 15:58:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-01 13:30:32.231904
- Title: Classification with Deep Neural Networks and Logistic Loss
- Title（参考訳）: ディープニューラルネットワークを用いた分類とロジスティック損失
- Authors: Zihan Zhang, Lei Shi, Ding-Xuan Zhou
- Abstract要約: このロジスティック損失で訓練されたディープニューラルネットワーク(DNN)は、バイナリ分類タスクにおいて目覚ましい進歩を遂げた。
本稿では,新規でエレガントなオラクル型不等式を確立し,対象関数の有界性制限に対処する。
完全に連結されたReLU DNN分類器に対して,ロジスティック損失を訓練したシャープ収束率を導出する。
- 参考スコア（独自算出の注目度）: 20.460611745587617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) trained with the logistic loss (i.e., the cross
entropy loss) have made impressive advancements in various binary
classification tasks. However, generalization analysis for binary
classification with DNNs and logistic loss remains scarce. The unboundedness of
the target function for the logistic loss is the main obstacle to deriving
satisfying generalization bounds. In this paper, we aim to fill this gap by
establishing a novel and elegant oracle-type inequality, which enables us to
deal with the boundedness restriction of the target function, and using it to
derive sharp convergence rates for fully connected ReLU DNN classifiers trained
with logistic loss. In particular, we obtain optimal convergence rates (up to
log factors) only requiring the H\"older smoothness of the conditional class
probability $\eta$ of data. Moreover, we consider a compositional assumption
that requires $\eta$ to be the composition of several vector-valued functions
of which each component function is either a maximum value function or a
H\"older smooth function only depending on a small number of its input
variables. Under this assumption, we derive optimal convergence rates (up to
log factors) which are independent of the input dimension of data. This result
explains why DNN classifiers can perform well in practical high-dimensional
classification problems. Besides the novel oracle-type inequality, the sharp
convergence rates given in our paper also owe to a tight error bound for
approximating the natural logarithm function near zero (where it is unbounded)
by ReLU DNNs. In addition, we justify our claims for the optimality of rates by
proving corresponding minimax lower bounds. All these results are new in the
literature and will deepen our theoretical understanding of classification with
DNNs.
- Abstract（参考訳）: 深いニューラルネットワーク(DNN)はロジスティック損失(クロスエントロピー損失)で訓練され、様々なバイナリ分類タスクにおいて顕著な進歩を遂げた。
しかし,dnnとロジスティック損失を用いた二進分類の一般化解析は少ない。
ロジスティック損失に対する対象関数の非有界性は、満足な一般化境界を導出する主な障害である。
本稿では,新規でエレガントなオラクル型不等式を確立することにより,対象関数の有界性制限に対処し,ロジスティック損失を学習したReLU DNN分類器の急激な収束率を導出することで,このギャップを埋めることを目的とする。
特に、最適収束率(対数因子まで)は条件付きクラス確率$\eta$のデータで H より古い滑らかさを必要とするだけである。
さらに、$\eta$を、各成分関数が最大値関数またはH\older滑らか関数のいずれかであるいくつかのベクトル値関数の合成に要求する構成的仮定を、少数の入力変数にのみ依存する。
この仮定の下では、データの入力次元に依存しない最適収束率(ログ係数まで)を導出する。
この結果は、DNN分類器が実用的な高次元分類問題でうまく機能する理由を説明する。
新たなオラクル型不等式に加えて、本論文で示した鋭い収束率は、relu dnns による自然対数関数の零付近(非有界)への近似に対する厳密な誤差にも負う。
さらに、対応するミニマックス下限を証明し、レートの最適性についての主張を正当化する。
これらの結果はすべて文献に新しいものであり、DNNによる分類に関する理論的理解を深めるでしょう。
関連論文リスト
- Minimax optimality of deep neural networks on dependent data via PAC-Bayes bounds [3.9041951045689305]
Schmidt-Hieber (2020) は、最小二乗回帰推定のためにReLuを活性化したディープニューラルネットワークの最小最適性を証明した。
我々は、最小二乗およびロジスティック回帰を含むより一般的な機械学習問題について研究する。
我々は、ロジスティック損失を伴う分類の類似の下限を確立し、提案したDNN推定器がミニマックスの意味で最適であることを証明した。
論文 参考訳（メタデータ） (2024-10-29T03:37:02Z) - Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax
Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes [7.433327915285969]
我々は,ロジスティック損失に基づいて学習した広帯域および深部ReLUニューラルネットワーク分類器の普遍的整合性を証明する。
また、ニューラルネットワークに基づく分類器が最小収束率を達成できる確率尺度のクラスに対して十分な条件を与える。
論文 参考訳（メタデータ） (2024-01-08T23:54:46Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - 0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである
正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
論文 参考訳（メタデータ） (2022-06-19T11:12:30Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Do We Really Need a Learnable Classifier at the End of Deep Neural
Network? [118.18554882199676]
本研究では、ニューラルネットワークを学習して分類器をランダムにETFとして分類し、訓練中に固定する可能性について検討する。
実験結果から,バランスの取れたデータセットの画像分類において,同様の性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-03-17T04:34:28Z) - Assessing Deep Neural Networks as Probability Estimators [2.7104688307463944]
ディープニューラルネットワーク(DNN)は、分類タスクにおいて非常にうまく機能している。
しかし、特定の用途に必要とされる分類の不確実性の特徴は欠如している。
本研究では,条件付き確率を推定するDNNの能力を評価し,系統的不確実性評価のための枠組みを提案する。
論文 参考訳（メタデータ） (2021-11-16T05:49:56Z) - An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their
Asymptotic Overconfidence [65.24701908364383]
ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。
しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。
事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
論文 参考訳（メタデータ） (2020-10-06T13:32:18Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Approximation and Non-parametric Estimation of ResNet-type Convolutional
Neural Networks [52.972605601174955]
本稿では,ResNet型CNNが重要な関数クラスにおいて最小誤差率を達成可能であることを示す。
Barron と H'older のクラスに対する前述のタイプの CNN の近似と推定誤差率を導出する。
論文 参考訳（メタデータ） (2019-03-24T19:42:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。