Fugu-MT 論文翻訳(概要): Optimization Landscapes of Wide Deep Neural Networks Are Benign

論文の概要: Optimization Landscapes of Wide Deep Neural Networks Are Benign

arxiv url: http://arxiv.org/abs/2010.00885v2
Date: Wed, 13 Jan 2021 10:11:53 GMT
ステータス: 処理完了
システム内更新日: 2022-10-12 00:39:49.884039
Title: Optimization Landscapes of Wide Deep Neural Networks Are Benign
Title（参考訳）: 深層ニューラルネットワークの最適化景観は最適である
Authors: Johannes Lederer
Abstract要約: このようなネットワーク上での経験的リスク最小化には制限点がなく、すなわち、逃れ難い最適パラメータが存在しないことを示す。我々の理論は、広義のニューラルネットワークは表現力が高いだけでなく、最適化し易いという共通の信念を裏付けている。
参考スコア（独自算出の注目度）: 1.52292571922932
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We analyze the optimization landscapes of deep learning with wide networks. We highlight the importance of constraints for such networks and show that constraint -- as well as unconstraint -- empirical-risk minimization over such networks has no confined points, that is, suboptimal parameters that are difficult to escape from. Hence, our theories substantiate the common belief that wide neural networks are not only highly expressive but also comparably easy to optimize.
Abstract（参考訳）: 広域ネットワークを用いた深層学習の最適化の展望を分析した。我々は,そのようなネットワークに対する制約の重要性を強調し,制約や制約のない制約が,そのようなネットワーク上での経験的リスク最小化には制限点がなく,逃れ難い最適パラメータが存在しないことを示す。したがって、我々の理論は、ワイドニューラルネットワークは高度に表現力のあるだけでなく、最適化し易いという共通の信念を裏付けている。

関連論文リスト

Component-based Sketching for Deep ReLU Nets [55.404661149594375]
各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
論文参考訳（メタデータ） (2024-09-21T15:30:43Z)
Restricted Bayesian Neural Network [0.0]
本研究では,ベイズニューラルネットワークの概念を探求し,ネットワークの記憶空間の複雑さを大幅に軽減する新しいアーキテクチャを提案する。本研究では,不確実性を効率的に扱えるアルゴリズムを導入し,局所最適に閉じ込められることなく,堅牢な収束値を確保する。
論文参考訳（メタデータ） (2024-03-06T19:09:11Z)
No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths [12.068608358926317]
1次最適化アルゴリズムは、ディープニューラルネットワークにおいて好ましいミニマを効率的に見つけることが知られている。 2つの鍵経路における標本最適化量の基本的な幾何学的性質に焦点をあてる。以上の結果から,最適化トラジェクトリは大きな障害に遭遇しないだけでなく,ほとんどのトレーニングにおいて安定なダイナミクスも維持できる可能性が示唆された。
論文参考訳（メタデータ） (2023-06-20T22:10:40Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Singular Value Perturbation and Deep Network Optimization [29.204852309828006]
我々は,行列摂動に関する新たな理論的結果を開発し,アーキテクチャが深層ネットワークの性能に与える影響について光を当てる。特に,ディープラーニング実践者が長年経験してきたことを説明する。深層アーキテクチャのパラメータは,他よりも容易に最適化できる。摂動結果の直接的な応用は、ResNetがConvNetよりも簡単に最適化できる理由を解析的に説明します。
論文参考訳（メタデータ） (2022-03-07T02:09:39Z)
Towards Understanding Theoretical Advantages of Complex-Reaction Networks [77.34726150561087]
パラメータ数を用いて,関数のクラスを複素反応ネットワークで近似できることを示す。経験的リスク最小化については,複素反応ネットワークの臨界点集合が実数値ネットワークの固有部分集合であることを示す。
論文参考訳（メタデータ） (2021-08-15T10:13:49Z)
DDCNet: Deep Dilated Convolutional Neural Network for Dense Prediction [0.0]
受容場(ERF)とネットワーク内の空間的特徴の高分解能は、高分解能密度推定を提供することに不可欠である。空間的特徴の解像度を高く保ちながら、より大きな受容場を提供できるネットワークアーキテクチャを設計するための体系的なアプローチを提案する。
論文参考訳（メタデータ） (2021-07-09T23:15:34Z)
Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文参考訳（メタデータ） (2020-08-19T04:53:31Z)
Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文参考訳（メタデータ） (2020-07-11T18:19:50Z)
Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文参考訳（メタデータ） (2020-04-08T10:08:20Z)
A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
論文参考訳（メタデータ） (2020-03-11T20:14:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。