論文の概要: Non-asymptotic Excess Risk Bounds for Classification with Deep
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2105.00292v1
- Date: Sat, 1 May 2021 15:55:04 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-05 06:08:31.050868
- Title: Non-asymptotic Excess Risk Bounds for Classification with Deep
Convolutional Neural Networks
- Title（参考訳）: 深層畳み込みニューラルネットワークを用いた分類のための非漸近的過剰リスク境界
- Authors: Guohao Shen, Yuling Jiao, Yuanyuan Lin and Jian Huang
- Abstract要約: 本稿では,一般の深層畳み込みニューラルネットワークを用いたバイナリ分類の問題を考える。
我々は、入力データ次元と他のモデルパラメータの観点から、リスク境界の要素を定義する。
CNNを用いた分類手法は次元の呪いを回避できることを示す。
- 参考スコア（独自算出の注目度）: 6.051520664893158
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we consider the problem of binary classification with a class
of general deep convolutional neural networks, which includes fully-connected
neural networks and fully convolutional neural networks as special cases. We
establish non-asymptotic excess risk bounds for a class of convex surrogate
losses and target functions with different modulus of continuity. An important
feature of our results is that we clearly define the prefactors of the risk
bounds in terms of the input data dimension and other model parameters and show
that they depend polynomially on the dimensionality in some important models.
We also show that the classification methods with CNNs can circumvent the curse
of dimensionality if the input data is supported on an approximate
low-dimensional manifold. To establish these results, we derive an upper bound
for the covering number for the class of general convolutional neural networks
with a bias term in each convolutional layer, and derive new results on the
approximation power of CNNs for any uniformly-continuous target functions.
These results provide further insights into the complexity and the
approximation power of general convolutional neural networks, which are of
independent interest and may have other applications. Finally, we apply our
general results to analyze the non-asymptotic excess risk bounds for four
widely used methods with different loss functions using CNNs, including the
least squares, the logistic, the exponential and the SVM hinge losses.
- Abstract（参考訳）: 本稿では,完全接続型ニューラルネットワークと完全畳み込み型ニューラルネットワークを含む,汎用的な深層畳み込みニューラルネットワークのクラスによるバイナリ分類の問題について考察する。
非漸近的過剰リスク境界を凸代理損失のクラスと、連続性の異なる目標関数に対して確立する。
結果の重要な特徴は、入力データ次元や他のモデルパラメータの観点からリスク境界のプレファクタを明確に定義し、それらが重要なモデルの次元に多項式に依存することを示すことである。
また,cnnを用いた分類手法は,入力データが近似低次元多様体上で支持されている場合,次元の呪いを回避できることを示した。
これらの結果を確立するために,各畳み込み層にバイアス項を有する一般畳み込みニューラルネットワークのクラス被覆数の上界を導出し,任意の一様連続的対象関数に対するcnnの近似力に関する新たな結果を得る。
これらの結果は、独立した関心を持ち、他の応用がある一般畳み込みニューラルネットワークの複雑さと近似力に関するさらなる洞察を与える。
最後に,cnnを用いた損失関数の異なる4つの手法について,非漸近的過大なリスク境界を,最小二乗法,ロジスティック法,指数関数法,svmヒンジ損失などを用いて解析する。
関連論文リスト
- Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。
本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。
ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-07T17:50:15Z) - Deeper or Wider: A Perspective from Optimal Generalization Error with Sobolev Loss [2.07180164747172]
より深いニューラルネットワーク(DeNN)と、柔軟な数のレイヤと、限られた隠れたレイヤを持つより広いニューラルネットワーク(WeNN)を比較します。
より多くのパラメータがWeNNを好む傾向にあるのに対し、サンプルポイントの増加と損失関数の規則性の向上は、DeNNの採用に傾いている。
論文 参考訳（メタデータ） (2024-01-31T20:10:10Z) - Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳（メタデータ） (2023-10-02T03:25:32Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Critical Initialization of Wide and Deep Neural Networks through Partial
Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。
我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文 参考訳（メタデータ） (2021-11-23T20:31:42Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳（メタデータ） (2021-07-31T10:25:26Z) - And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。
そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。
MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
論文 参考訳（メタデータ） (2021-02-15T08:19:05Z) - Towards a mathematical framework to inform Neural Network modelling via
Polynomial Regression [0.0]
特定の条件が局所的に満たされた場合、ほぼ同一の予測が可能であることが示されている。
生成したデータから学習すると,そのデータを局所的に近似的に生成する。
論文 参考訳（メタデータ） (2021-02-07T17:56:16Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。