Fugu-MT 論文翻訳(概要): A Note on Connectivity of Sublevel Sets in Deep Learning

論文の概要: A Note on Connectivity of Sublevel Sets in Deep Learning

arxiv url: http://arxiv.org/abs/2101.08576v1
Date: Thu, 21 Jan 2021 12:43:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 08:03:18.065500
Title: A Note on Connectivity of Sublevel Sets in Deep Learning
Title（参考訳）: ディープラーニングにおけるサブレベル集合の接続性に関する一考察
Authors: Quynh Nguyen
Abstract要約: ディープニューラルネットワークでは、トレーニング損失関数のサブレベルセットの接続性を証明するために、幅の広い1層$n+1$ (n$はトレーニングサンプルの数) が十分であることが示されている。 2層配置では、同じ性質が1つのニューロンが小さくても保持されないことがある。
参考スコア（独自算出の注目度）: 9.42944841156154
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is shown that for deep neural networks, a single wide layer of width $N+1$ ($N$ being the number of training samples) suffices to prove the connectivity of sublevel sets of the training loss function. In the two-layer setting, the same property may not hold even if one has just one neuron less (i.e. width $N$ can lead to disconnected sublevel sets).
Abstract（参考訳）: ディープニューラルネットワークでは、トレーニング損失関数のサブレベルセットの接続性を証明するために、幅の広い1層$n+1$ (n$はトレーニングサンプルの数) が十分であることが示されている。 2層配置では、同じ性質が1つのニューロン(すなわち1つのニューロン)が少ない場合でも保持されない。幅$N$は非連結なサブレベルセットにつながる。

関連論文リスト

Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文参考訳（メタデータ） (2022-05-20T14:50:24Z)
Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文参考訳（メタデータ） (2021-10-06T15:48:32Z)
Self-Regularity of Non-Negative Output Weights for Overparameterized Two-Layer Neural Networks [16.64116123743938]
我々は、Sigmoid, rectified linear unit (ReLU) を用いた2層ニューラルネットワークの探索問題を考える。そして、その境界を利用して、Emphfat-shattering dimensionを通じてそのようなネットワークの保証を確立する。特に、我々の境界はサンプルの複雑さも良い(低次数$$d$のポリノミアル)。
論文参考訳（メタデータ） (2021-03-02T17:36:03Z)
Provable Memorization via Deep Neural Networks using Sub-linear Parameters [91.0268925267129]
O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
論文参考訳（メタデータ） (2020-10-26T06:19:38Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)
Is the Skip Connection Provable to Reform the Neural Network Loss Landscape? [14.387975042485847]
残余ネットワークは、現在、ディープラーニングにおいて最も効果的な構造の1つである。スキップ接続が学習能力を向上させるかどうかは不明である。これらのローカルミニマの深さは最大$O(meta-1)/n)$であり、$n$は入力、$eta1$である。これは、ディープラーニングにおけるスキップ接続の有効性に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-06-10T16:46:19Z)
OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
論文参考訳（メタデータ） (2020-04-20T02:41:01Z)
Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文参考訳（メタデータ） (2020-02-24T21:32:41Z)
Backward Feature Correction: How Deep Learning Performs Deep Learning [66.05472746340142]
特定の階層的学習タスクにおいて、SGDを用いて、ディープニューラルネットワークが標本化され、時間効率がよいことを示す。我々は、ネットワーク内の上位層をトレーニングすることで、下位層の特徴を改善する"後方特徴補正"と呼ばれる新しい原則を確立する。
論文参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。