Fugu-MT 論文翻訳(概要): A Recipe for Global Convergence Guarantee in Deep Neural Networks

論文の概要: A Recipe for Global Convergence Guarantee in Deep Neural Networks

arxiv url: http://arxiv.org/abs/2104.05785v1
Date: Mon, 12 Apr 2021 19:25:30 GMT
ステータス: 処理完了
システム内更新日: 2021-04-14 13:50:43.969524
Title: A Recipe for Global Convergence Guarantee in Deep Neural Networks
Title（参考訳）: ディープニューラルネットワークにおける大域的収束保証のレシピ
Authors: Kenji Kawaguchi, Qingyun Sun
Abstract要約: 既存のグローバル収束保証は、ニューラルネットワーク(NTK)体制を超えた実践的な深層学習における実践的な深層ネットワークには適用されない。本稿では,NTK体制を超えた実践的体制において,表現性条件と呼ばれる検証可能な条件下でグローバル収束を保証するアルゴリズムを提案する。
参考スコア（独自算出の注目度）: 11.86522305892415
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Existing global convergence guarantees of (stochastic) gradient descent do not apply to practical deep networks in the practical regime of deep learning beyond the neural tangent kernel (NTK) regime. This paper proposes an algorithm, which is ensured to have global convergence guarantees in the practical regime beyond the NTK regime, under a verifiable condition called the expressivity condition. The expressivity condition is defined to be both data-dependent and architecture-dependent, which is the key property that makes our results applicable for practical settings beyond the NTK regime. On the one hand, the expressivity condition is theoretically proven to hold data-independently for fully-connected deep neural networks with narrow hidden layers and a single wide layer. On the other hand, the expressivity condition is numerically shown to hold data-dependently for deep (convolutional) ResNet with batch normalization with various standard image datasets. We also show that the the proposed algorithm has generalization performances comparable with those of the heuristic algorithm, with the same hyper-parameters and total number of iterations. Therefore, the proposed algorithm can be viewed as a step towards providing theoretical guarantees for deep learning in the practical regime.
Abstract（参考訳）: 既存の(確率的な)勾配勾配勾配のグローバル収束保証は、ニューラル・タンジェント・カーネル(NTK)体制を超えた実践的な深層学習体制における実践的な深層ネットワークには適用されない。本稿では,NTK体制を超えた実践的体制において,表現性条件と呼ばれる検証可能な条件下でグローバル収束を保証するアルゴリズムを提案する。表現性条件は、データ依存とアーキテクチャ依存の両方と定義されており、NTK体制を超えた実践的な設定に結果を適用するための鍵となる特性である。一方、表現性条件は、狭い隠れ層と1つの幅の層を持つ完全連結深層ニューラルネットワークに対してデータ独立に保持することが理論的に証明されている。一方、表現性条件は、様々な標準画像データセットによるバッチ正規化を伴う深い(畳み込み)resnetに対してデータ依存的に保持されるように数値的に示される。また,提案手法はヒューリスティックアルゴリズムと同等の一般化性能を有し,同じハイパーパラメータと総イテレーション数を有することを示した。したがって,提案アルゴリズムは,実践的な状況下での深層学習の理論的保証を提供するためのステップとみなすことができる。

関連論文リスト

Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
論文参考訳（メタデータ） (2025-02-15T12:28:51Z)
Network Topology Inference from Smooth Signals Under Partial Observability [17.491343739469627]
部分的に観測されたノードを持つ滑らかな信号からネットワークトポロジを推定することは、データサイエンスとエンジニアリングにおいて重要な問題である。本稿では,列間隔正規化に基づく1次アルゴリズムフレームワークと,低ランク制約に基づく1次アルゴリズムフレームワークを提案する。我々は、理論収束保証を確立し、アルゴリズムの線形収束率を実証する。
論文参考訳（メタデータ） (2024-10-08T06:00:04Z)
A simple algorithm for output range analysis for deep neural networks [0.0]
本稿では,Deep Neural Networks (DNN) における出力範囲推定問題に対して,Simulated Annealing (SA) アルゴリズムを統合した新しい手法を提案する。この方法はResNetsに固有の幾何学的情報や非線形性の欠如による課題に効果的に対処する。
論文参考訳（メタデータ） (2024-07-02T22:47:40Z)
Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
論文参考訳（メタデータ） (2023-12-25T18:51:23Z)
Matrix Completion-Informed Deep Unfolded Equilibrium Models for Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
論文参考訳（メタデータ） (2023-09-24T07:25:06Z)
Validation Diagnostics for SBI algorithms based on Normalizing Flows [55.41644538483948]
本研究は,NFに基づく多次元条件(後)密度推定器の検証診断を容易にすることを提案する。また、局所的な一貫性の結果に基づいた理論的保証も提供する。この作業は、より良い特定モデルの設計を支援したり、新しいSBIアルゴリズムの開発を促進するのに役立つだろう。
論文参考訳（メタデータ） (2022-11-17T15:48:06Z)
Distributed Online Private Learning of Convex Nondecomposable Objectives [7.5585719185840485]
我々は、時間によって異なるネットワーク上でのプライバシーに関する一般的な分散制約付きオンライン学習問題に対処する。本稿では, DPSDA-C と DPSDA-PS という2つのアルゴリズムを提案する。理論的結果は、目的関数が凸であるときに、両方のアルゴリズムが $mathcalO( sqrtT )$ で期待される後悔の上限に達することを示している。
論文参考訳（メタデータ） (2022-06-16T06:29:51Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy [119.12515258771302]
オーバーパラメトリゼーションを備えたPPOOの変種が,グローバルな最適ネットワークに収束することを示す。我々の分析の鍵は、1次元の単調性の概念の下で無限勾配の反復であり、そこでは勾配はネットワークによって瞬く。
論文参考訳（メタデータ） (2019-06-25T03:20:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。