論文の概要: Wide and Deep Neural Networks Achieve Optimality for Classification
- arxiv url: http://arxiv.org/abs/2204.14126v1
- Date: Fri, 29 Apr 2022 14:27:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-02 14:32:07.116764
- Title: Wide and Deep Neural Networks Achieve Optimality for Classification
- Title（参考訳）: ワイドニューラルネットワークとディープニューラルネットワークによる分類の最適化
- Authors: Adityanarayanan Radhakrishnan, Mikhail Belkin, Caroline Uhler
- Abstract要約: 我々は、最適性を達成するニューラルネットワーク分類器の明示的な集合を同定し、構築する。
特に、最適性を実現するネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
その結果,過度な深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することの利点が浮き彫りになった。
- 参考スコア（独自算出の注目度）: 23.738242876364865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While neural networks are used for classification tasks across domains, a
long-standing open problem in machine learning is determining whether neural
networks trained using standard procedures are optimal for classification,
i.e., whether such models minimize the probability of misclassification for
arbitrary data distributions. In this work, we identify and construct an
explicit set of neural network classifiers that achieve optimality. Since
effective neural networks in practice are typically both wide and deep, we
analyze infinitely wide networks that are also infinitely deep. In particular,
using the recent connection between infinitely wide neural networks and Neural
Tangent Kernels, we provide explicit activation functions that can be used to
construct networks that achieve optimality. Interestingly, these activation
functions are simple and easy to implement, yet differ from commonly used
activations such as ReLU or sigmoid. More generally, we create a taxonomy of
infinitely wide and deep networks and show that these models implement one of
three well-known classifiers depending on the activation function used: (1)
1-nearest neighbor (model predictions are given by the label of the nearest
training example); (2) majority vote (model predictions are given by the label
of the class with greatest representation in the training set); or (3) singular
kernel classifiers (a set of classifiers containing those that achieve
optimality). Our results highlight the benefit of using deep networks for
classification tasks, in contrast to regression tasks, where excessive depth is
harmful.
- Abstract（参考訳）: ニューラルネットワークはドメイン間の分類タスクに使用されるが、機械学習における長年のオープン問題は、標準手順を用いて訓練されたニューラルネットワークが分類に最適であるかどうか、すなわち、任意のデータ分布の誤分類の確率を最小化するかどうかを決定することである。
本研究では,最適性を実現するニューラルネットワーク分類器の明示的集合を同定し,構築する。
実際に有効なニューラルネットワークは、通常、幅も深さも大きいので、無限に深いネットワークを分析します。
特に、無限大のニューラルネットワークとニューラルタンジェントカーネルの最近の接続を用いて、最適性を達成できるネットワーク構築に使用できる明示的なアクティベーション関数を提供する。
興味深いことに、これらのアクティベーション機能はシンプルで実装が容易であるが、ReLUやSigmoidのような一般的なアクティベーションとは異なっている。
More generally, we create a taxonomy of infinitely wide and deep networks and show that these models implement one of three well-known classifiers depending on the activation function used: (1) 1-nearest neighbor (model predictions are given by the label of the nearest training example); (2) majority vote (model predictions are given by the label of the class with greatest representation in the training set); or (3) singular kernel classifiers (a set of classifiers containing those that achieve optimality).
その結果,過度の深度が有害な回帰タスクとは対照的に,分類タスクにディープネットワークを使用することのメリットが強調された。
関連論文リスト
- On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。
ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
論文 参考訳（メタデータ） (2023-09-26T17:14:10Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - Explainable Deep Belief Network based Auto encoder using novel Extended
Garson Algorithm [6.228766191647919]
我々はDeep Belief Network based Auto-Encoder (DBNA) を説明するアルゴリズムを開発した。
DBN内の各入力機能のコントリビューションを決定するために使用される。
この方法によって同定された重要な特徴は、ウォルドチ広場(chi2)で得られたものと比較される。
論文 参考訳（メタデータ） (2022-07-18T10:44:02Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Fast Adaptation with Linearized Neural Networks [35.43406281230279]
ニューラルネットワークの線形化の帰納的バイアスについて検討し,全ネットワーク関数の驚くほどよい要約であることを示した。
この発見に触発されて,これらの帰納的バイアスをネットワークのヤコビアンから設計されたカーネルを通してガウス過程に埋め込む手法を提案する。
この設定では、領域適応は不確実性推定を伴う解釈可能な後方推論の形式を取る。
論文 参考訳（メタデータ） (2021-03-02T03:23:03Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Kernelized Classification in Deep Networks [49.47339560731506]
本稿では,ディープネットワークのためのカーネル分類層を提案する。
訓練中のSoftmaxクロスエントロピー損失関数のカーネルトリックを用いて非線形分類層を提唱する。
提案する非線形分類層は,複数のデータセットやタスクに対して有用であることを示す。
論文 参考訳（メタデータ） (2020-12-08T21:43:19Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z) - Finding trainable sparse networks through Neural Tangent Transfer [16.092248433189816]
深層学習において、特定のタスクでうまく機能する訓練可能なスパースネットワークは通常、ラベル依存プルーニング基準を用いて構築される。
本稿では,学習可能なスパースネットワークをラベルフリーで検出する手法であるNeural Tangent Transferを紹介する。
論文 参考訳（メタデータ） (2020-06-15T08:58:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。