Fugu-MT 論文翻訳(概要): Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks

論文の概要: Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2308.03259v1
Date: Mon, 7 Aug 2023 02:37:02 GMT
ステータス: 処理完了
システム内更新日: 2023-08-08 15:30:31.893027
Title: Optimal Approximation and Learning Rates for Deep Convolutional Neural Networks
Title（参考訳）: 深部畳み込みニューラルネットワークの最適近似と学習率
Authors: Shao-Bo Lin
Abstract要約: 本稿では,ゼロパディングと最大プーリングを併用した深部畳み込みニューラルネットワークの近似と学習性能解析に着目する。近似関数として,深度$L$の深部畳み込みニューラルネットワークの近似速度が,対数係数に最適化された次数$ (L2/log L)-2r/d $であることが証明された。
参考スコア（独自算出の注目度）: 17.075804626858748
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper focuses on approximation and learning performance analysis for deep convolutional neural networks with zero-padding and max-pooling. We prove that, to approximate $r$-smooth function, the approximation rates of deep convolutional neural networks with depth $L$ are of order $ (L^2/\log L)^{-2r/d} $, which is optimal up to a logarithmic factor. Furthermore, we deduce almost optimal learning rates for implementing empirical risk minimization over deep convolutional neural networks.
Abstract（参考訳）: 本稿では,ゼロパディングと最大プールを用いた深部畳み込みニューラルネットワークの近似と学習性能解析に焦点を当てた。 r$-smooth関数を近似するために、深さ$l$の深い畳み込みニューラルネットワークの近似率は、対数係数まで最適である(l^2/\log l)^{-2r/d} $である。さらに,深層畳み込みニューラルネットワーク上で経験的リスク最小化を実現するために,ほぼ最適学習率を推定する。

関連論文リスト

Learning Rate Optimization for Deep Neural Networks Using Lipschitz Bandits [9.361762652324968]
適切に調整された学習率によって、より高速なトレーニングとテストの精度が向上する。本稿では,ニューラルネットワークの学習速度を調整するためのLipschitz bandit-drivenアプローチを提案する。
論文参考訳（メタデータ） (2024-09-15T16:21:55Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Excess risk bound for deep learning under weak dependence [0.0]
本稿では、弱い依存プロセスを学ぶためのディープニューラルネットワークについて考察する。我々は、任意のH"古いスムーズな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。
論文参考訳（メタデータ） (2023-02-15T07:23:48Z)
Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。我々はUDNを実データと合成データに基づいて研究する。
論文参考訳（メタデータ） (2022-09-21T03:54:34Z)
Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文参考訳（メタデータ） (2021-12-04T18:07:47Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
論文参考訳（メタデータ） (2020-09-21T14:46:01Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)
Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
論文参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。