Fugu-MT 論文翻訳(概要): A Note on Connectivity of Sublevel Sets in Deep Learning

論文の概要: A Note on Connectivity of Sublevel Sets in Deep Learning

arxiv url: http://arxiv.org/abs/2101.08576v1
Date: Thu, 21 Jan 2021 12:43:26 GMT
ステータス: 処理完了
システム内更新日: 2021-03-21 08:03:18.065500
Title: A Note on Connectivity of Sublevel Sets in Deep Learning
Title（参考訳）: ディープラーニングにおけるサブレベル集合の接続性に関する一考察
Authors: Quynh Nguyen
Abstract要約: ディープニューラルネットワークでは、トレーニング損失関数のサブレベルセットの接続性を証明するために、幅の広い1層$n+1$ (n$はトレーニングサンプルの数) が十分であることが示されている。 2層配置では、同じ性質が1つのニューロンが小さくても保持されないことがある。
参考スコア（独自算出の注目度）: 9.42944841156154
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: It is shown that for deep neural networks, a single wide layer of width $N+1$ ($N$ being the number of training samples) suffices to prove the connectivity of sublevel sets of the training loss function. In the two-layer setting, the same property may not hold even if one has just one neuron less (i.e. width $N$ can lead to disconnected sublevel sets).
Abstract（参考訳）: ディープニューラルネットワークでは、トレーニング損失関数のサブレベルセットの接続性を証明するために、幅の広い1層$n+1$ (n$はトレーニングサンプルの数) が十分であることが示されている。 2層配置では、同じ性質が1つのニューロン(すなわち1つのニューロン)が少ない場合でも保持されない。幅$N$は非連結なサブレベルセットにつながる。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
論文参考訳（メタデータ） (2024-05-26T17:08:04Z)
Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
論文参考訳（メタデータ） (2023-07-13T16:39:08Z)
Memorization and Optimization in Deep Neural Networks with Minimum Over-parameterization [14.186776881154127]
Neural Tangent Kernel(NTK)は、ディープニューラルネットワークにおける記憶、最適化、一般化の保証を提供する強力なツールとして登場した。 NTKは、挑戦的なサブ線形設定においてよく条件付けされていることを示す。我々の重要な技術的貢献は、ディープネットワークにおける最小のNTK固有値の低い境界である。
論文参考訳（メタデータ） (2022-05-20T14:50:24Z)
Exploring the Common Principal Subspace of Deep Features in Neural Networks [50.37178960258464]
我々は、同じデータセットでトレーニングされた異なるディープニューラルネットワーク(DNN)が、潜在空間において共通の主部分空間を共有することを発見した。具体的には、DNNで学んだ深い機能の主部分空間を表すために、$mathcalP$-vectorを新たに設計する。異なるアルゴリズム/アーキテクチャで訓練された2つのDNNの比較では、小さな角度(コサインが1.0ドルに近い)が見つかっている。
論文参考訳（メタデータ） (2021-10-06T15:48:32Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Provable Memorization via Deep Neural Networks using Sub-linear Parameters [91.0268925267129]
O(N)$パラメータはニューラルネットワークが任意の$N$入力ラベルペアを記憶するのに十分であることが知られている。深度を利用して,$O(N2/3)$パラメータが入力点分離の軽度条件下で,$N$ペアを記憶するのに十分であることを示す。
論文参考訳（メタデータ） (2020-10-26T06:19:38Z)
Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文参考訳（メタデータ） (2020-06-24T02:44:54Z)
Is the Skip Connection Provable to Reform the Neural Network Loss Landscape? [14.387975042485847]
残余ネットワークは、現在、ディープラーニングにおいて最も効果的な構造の1つである。スキップ接続が学習能力を向上させるかどうかは不明である。これらのローカルミニマの深さは最大$O(meta-1)/n)$であり、$n$は入力、$eta1$である。これは、ディープラーニングにおけるスキップ接続の有効性に関する理論的説明を提供する。
論文参考訳（メタデータ） (2020-06-10T16:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。