論文の概要: A Recipe for Global Convergence Guarantee in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2104.05785v1
- Date: Mon, 12 Apr 2021 19:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-14 13:50:43.969524
- Title: A Recipe for Global Convergence Guarantee in Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークにおける大域的収束保証のレシピ
- Authors: Kenji Kawaguchi, Qingyun Sun
- Abstract要約: 既存のグローバル収束保証は、ニューラルネットワーク(NTK)体制を超えた実践的な深層学習における実践的な深層ネットワークには適用されない。
本稿では,NTK体制を超えた実践的体制において,表現性条件と呼ばれる検証可能な条件下でグローバル収束を保証するアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 11.86522305892415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing global convergence guarantees of (stochastic) gradient descent do
not apply to practical deep networks in the practical regime of deep learning
beyond the neural tangent kernel (NTK) regime. This paper proposes an
algorithm, which is ensured to have global convergence guarantees in the
practical regime beyond the NTK regime, under a verifiable condition called the
expressivity condition. The expressivity condition is defined to be both
data-dependent and architecture-dependent, which is the key property that makes
our results applicable for practical settings beyond the NTK regime. On the one
hand, the expressivity condition is theoretically proven to hold
data-independently for fully-connected deep neural networks with narrow hidden
layers and a single wide layer. On the other hand, the expressivity condition
is numerically shown to hold data-dependently for deep (convolutional) ResNet
with batch normalization with various standard image datasets. We also show
that the the proposed algorithm has generalization performances comparable with
those of the heuristic algorithm, with the same hyper-parameters and total
number of iterations. Therefore, the proposed algorithm can be viewed as a step
towards providing theoretical guarantees for deep learning in the practical
regime.
- Abstract(参考訳): 既存の(確率的な)勾配勾配勾配のグローバル収束保証は、ニューラル・タンジェント・カーネル(NTK)体制を超えた実践的な深層学習体制における実践的な深層ネットワークには適用されない。
本稿では,NTK体制を超えた実践的体制において,表現性条件と呼ばれる検証可能な条件下でグローバル収束を保証するアルゴリズムを提案する。
表現性条件は、データ依存とアーキテクチャ依存の両方と定義されており、NTK体制を超えた実践的な設定に結果を適用するための鍵となる特性である。
一方、表現性条件は、狭い隠れ層と1つの幅の層を持つ完全連結深層ニューラルネットワークに対してデータ独立に保持することが理論的に証明されている。
一方、表現性条件は、様々な標準画像データセットによるバッチ正規化を伴う深い(畳み込み)resnetに対してデータ依存的に保持されるように数値的に示される。
また,提案手法はヒューリスティックアルゴリズムと同等の一般化性能を有し,同じハイパーパラメータと総イテレーション数を有することを示した。
したがって,提案アルゴリズムは,実践的な状況下での深層学習の理論的保証を提供するためのステップとみなすことができる。
関連論文リスト
- Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。
アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。
提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文 参考訳(メタデータ) (2023-12-25T18:51:23Z) - Matrix Completion-Informed Deep Unfolded Equilibrium Models for
Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。
理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-24T07:25:06Z) - Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。
また、局所的な一貫性の結果に基づいた理論的保証も提供する。
この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文 参考訳(メタデータ) (2022-11-17T15:48:06Z) - Distributed Online Private Learning of Convex Nondecomposable Objectives [7.5585719185840485]
我々は、時間によって異なるネットワーク上でのプライバシーに関する一般的な分散制約付きオンライン学習問題に対処する。
本稿では, DPSDA-C と DPSDA-PS という2つのアルゴリズムを提案する。
理論的結果は、目的関数が凸であるときに、両方のアルゴリズムが $mathcalO( sqrtT )$ で期待される後悔の上限に達することを示している。
論文 参考訳(メタデータ) (2022-06-16T06:29:51Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-22T15:56:43Z) - Equilibrated Zeroth-Order Unrolled Deep Networks for Accelerated MRI [14.586911990418624]
近年,モデル駆動型ディープラーニングは正規化モデルの反復アルゴリズムをカスケードネットワークに展開している。
理論上、一階情報が置換されたネットワークモジュールと一致するような機能正規化器は必ずしも存在しない。
本稿では,ネットワークアンローリングにおけるセーフガード手法を提案する。
論文 参考訳(メタデータ) (2021-12-18T09:47:19Z) - Shallow Network Based on Depthwise Over-Parameterized Convolution for
Hyperspectral Image Classification [0.7329200485567825]
本稿では,畳み込みニューラルネットワーク(CNN)を用いたハイパースペクトル画像分類(HSIC)の浅層モデルを提案する。
提案手法は、分類精度と計算効率の観点から、他の最先端手法よりも優れている。
論文 参考訳(メタデータ) (2021-12-01T03:10:02Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳(メタデータ) (2021-07-07T08:02:00Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳(メタデータ) (2021-01-12T00:40:45Z) - Optimal Rates for Averaged Stochastic Gradient Descent under Neural
Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。
本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文 参考訳(メタデータ) (2020-06-22T14:31:37Z) - Neural Proximal/Trust Region Policy Optimization Attains Globally
Optimal Policy [119.12515258771302]
オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。
我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
論文 参考訳(メタデータ) (2019-06-25T03:20:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。