Fugu-MT 論文翻訳(概要): Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent

論文の概要: Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent

arxiv url: http://arxiv.org/abs/2405.07619v1
Date: Mon, 13 May 2024 10:26:28 GMT
ステータス: 処理完了
システム内更新日: 2024-05-14 14:05:08.644856
Title: Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Title（参考訳）: 勾配降下法で学習した過パラメータ畳み込みニューラルネットワーク画像分類器の収束速度の解析
Authors: Michael Kohler, Adam Krzyzak, Benjamin Walter,
Abstract要約: グローバル平均プール層を用いた過度パラメータ化畳み込みニューラルネットワークに基づく画像分類について検討する。新たに導入された畳み込みニューラルネットワーク推定の誤分類リスクの差の収束率に依存する勾配を導出する。
参考スコア（独自算出の注目度）: 9.4491536689161
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Image classification based on over-parametrized convolutional neural networks with a global average-pooling layer is considered. The weights of the network are learned by gradient descent. A bound on the rate of convergence of the difference between the misclassification risk of the newly introduced convolutional neural network estimate and the minimal possible value is derived.
Abstract（参考訳）: グローバル平均プール層を用いた過度パラメータ化畳み込みニューラルネットワークに基づく画像分類について検討する。ネットワークの重みは勾配降下によって学習される。新たに導入された畳み込みニューラルネットワーク推定の誤分類リスクと最小限の可能な値との差の収束率に依存する。

関連論文リスト

Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文参考訳（メタデータ） (2024-03-18T18:01:01Z)
Early Directional Convergence in Deep Homogeneous Neural Networks for Small Initializations [2.310288676109785]
本稿では、深部均一性ニューラルネットワークのトレーニング時に発生する勾配流れのダイナミクスについて検討する。ニューラルネットワークの重みは標準では小さく、カルーシュ=クーン=タッカー点に沿ってほぼ収束している。
論文参考訳（メタデータ） (2024-03-12T23:17:32Z)
On Excess Risk Convergence Rates of Neural Network Classifiers [8.329456268842227]
本稿では,ニューラルネットワークを用いた2値分類におけるプラグイン分類器の性能を,その過大なリスクによって測定した。ニューラルネットワークの推定と近似特性を分析し,次元自由で均一な収束率を求める。
論文参考訳（メタデータ） (2023-09-26T17:14:10Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Limitations of neural network training due to numerical instability of backpropagation [2.255961793913651]
本研究では,浮動小数点算術を用いて勾配を計算する勾配勾配降下による深層ニューラルネットワークの訓練について検討する。勾配降下によるトレーニングの過程で、層数に関して超直線的に多くのアフィンピースを維持できるReLUニューラルネットワークを見つける可能性は極めて低い。我々は,ReLUニューラルネットワークの勾配降下による近似列が理論的に構築された配列と大きく異なることを結論付けた。
論文参考訳（メタデータ） (2022-10-03T10:34:38Z)
On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文参考訳（メタデータ） (2022-05-18T16:57:10Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Improving correlation method with convolutional neural networks [0.0]
本稿では,相関フィルタによる相関応答の分類のための畳み込みニューラルネットワークを提案する。提案手法は,分類の精度を向上し,画像クラスやパラメータの不変性を達成できる。
論文参考訳（メタデータ） (2020-04-20T16:36:01Z)
On the rate of convergence of image classifiers based on convolutional neural networks [0.0]
最適誤分類リスクに対する推定の誤分類リスクの収束率を分析する。これは、画像分類において畳み込みニューラルネットワークによる次元の呪いを回避できることを証明している。
論文参考訳（メタデータ） (2020-03-03T14:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。