論文の概要: Classification of Data Generated by Gaussian Mixture Models Using Deep
ReLU Networks
- arxiv url: http://arxiv.org/abs/2308.08030v1
- Date: Tue, 15 Aug 2023 20:40:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 15:33:30.735454
- Title: Classification of Data Generated by Gaussian Mixture Models Using Deep
ReLU Networks
- Title（参考訳）: 深部ReLUネットワークを用いたガウス混合モデルによるデータの分類
- Authors: Tian-Yi Zhou, Xiaoming Huo
- Abstract要約: 本稿では,ガウス混合ネットワーク下で発生した$math RMsのデータ二項分類について検討する。
コンバージェンスレートが初めて$d2013xのニューラル解析レートを得る。
結果は、実用的な分類問題におけるディープニューラルネットワークの理論的検証を提供する。
- 参考スコア（独自算出の注目度）: 28.437011792990347
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies the binary classification of unbounded data from ${\mathbb
R}^d$ generated under Gaussian Mixture Models (GMMs) using deep ReLU neural
networks. We obtain $\unicode{x2013}$ for the first time $\unicode{x2013}$
non-asymptotic upper bounds and convergence rates of the excess risk (excess
misclassification error) for the classification without restrictions on model
parameters. The convergence rates we derive do not depend on dimension $d$,
demonstrating that deep ReLU networks can overcome the curse of dimensionality
in classification. While the majority of existing generalization analysis of
classification algorithms relies on a bounded domain, we consider an unbounded
domain by leveraging the analyticity and fast decay of Gaussian distributions.
To facilitate our analysis, we give a novel approximation error bound for
general analytic functions using ReLU networks, which may be of independent
interest. Gaussian distributions can be adopted nicely to model data arising in
applications, e.g., speeches, images, and texts; our results provide a
theoretical verification of the observed efficiency of deep neural networks in
practical classification problems.
- Abstract（参考訳）: 本稿では,gaussian mixture model (gmms) で生成する${\mathbb r}^d$ からの非有界データの深層ニューラルネットワークを用いた二元分類について検討する。
モデルパラメーターに制約を課すことなく、分類の過度なリスク(誤分類誤差を含む)の収束率と非漸近的上限を初めて$\unicode{x2013}$を得る。
我々が導出する収束率は次元 $d$ に依存しず、深層 relu ネットワークが分類における次元の呪いを克服できることを示した。
分類アルゴリズムの既存の一般化解析の大半は有界領域に依存しているが、ガウス分布の解析性と高速崩壊を利用して非有界領域を考える。
解析を容易にするために,reluネットワークを用いた一般解析関数に対する新しい近似誤差を導出する。
ガウス分布は、例えば音声、画像、テキストなど、アプリケーションで発生するデータをモデル化するためにうまく適用することができ、実際の分類問題におけるディープニューラルネットワークの観測効率の理論的検証を提供する。
関連論文リスト
- Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。
ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。
我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
論文 参考訳（メタデータ） (2023-09-29T02:00:03Z) - On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。
ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
論文 参考訳（メタデータ） (2023-09-26T17:14:10Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Predicting Unreliable Predictions by Shattering a Neural Network [145.3823991041987]
線形ニューラルネットワークは、サブファンクションに分割することができる。
サブファンクションは、独自のアクティベーションパターン、ドメイン、経験的エラーを持っている。
完全なネットワークに対する経験的エラーは、サブファンクションに対する期待として記述できる。
論文 参考訳（メタデータ） (2021-06-15T18:34:41Z) - Learning Gaussian Mixtures with Generalised Linear Models: Precise
Asymptotics in High-dimensions [79.35722941720734]
多クラス分類問題に対する一般化線形モデルは、現代の機械学習タスクの基本的な構成要素の1つである。
実験的リスク最小化による高次元推定器の精度を実証する。
合成データの範囲を超えて我々の理論をどのように適用できるかを論じる。
論文 参考訳（メタデータ） (2021-06-07T16:53:56Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Non-asymptotic Excess Risk Bounds for Classification with Deep
Convolutional Neural Networks [6.051520664893158]
本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。
我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。
CNNを用いた分類手法は次元の呪いを回避できることを示す。
論文 参考訳（メタデータ） (2021-05-01T15:55:04Z) - Binary Classification of Gaussian Mixtures: Abundance of Support
Vectors, Benign Overfitting and Regularization [39.35822033674126]
生成ガウス混合モデルに基づく二項線形分類について検討する。
後者の分類誤差に関する新しい非漸近境界を導出する。
この結果は, 確率が一定である雑音モデルに拡張される。
論文 参考訳（メタデータ） (2020-11-18T07:59:55Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。