論文の概要: Revealing the Structure of Deep Neural Networks via Convex Duality

• arxiv url: http://arxiv.org/abs/2002.09773v4
• Date: Fri, 11 Jun 2021 17:21:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 18:52:07.227312
• Title: Revealing the Structure of Deep Neural Networks via Convex Duality
• Title（参考訳）: 凸双対性による深層ニューラルネットワークの構造の解明
• Authors: Tolga Ergen, Mert Pilanci
• Abstract要約: 我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
• 参考スコア（独自算出の注目度）: 70.15611146583068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study regularized deep neural networks (DNNs) and introduce a convex analytic framework to characterize the structure of the hidden layers. We show that a set of optimal hidden layer weights for a norm regularized DNN training problem can be explicitly found as the extreme points of a convex set. For the special case of deep linear networks, we prove that each optimal weight matrix aligns with the previous layers via duality. More importantly, we apply the same characterization to deep ReLU networks with whitened data and prove the same weight alignment holds. As a corollary, we also prove that norm regularized deep ReLU networks yield spline interpolation for one-dimensional datasets which was previously known only for two-layer networks. Furthermore, we provide closed-form solutions for the optimal layer weights when data is rank-one or whitened. The same analysis also applies to architectures with batch normalization even for arbitrary data. Therefore, we obtain a complete explanation for a recent empirical observation termed Neural Collapse where class means collapse to the vertices of a simplex equiangular tight frame.
• Abstract（参考訳）: 我々は、正規化深層ニューラルネットワーク(DNN)を研究し、隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 標準正規化DNNトレーニング問題に対する最適隠蔽層重みの集合が凸集合の極端点として明確に見出されることを示す。 ディープ線形ネットワークの特殊な場合、各最適重み行列が双対性によって前の層と整合していることを証明する。 より重要なことに、白データを持つ深層reluネットワークに同じ特徴付けを適用し、同じ重みアライメントが成り立つことを証明する。 また,従来2層ネットワークでのみ知られていた1次元データセットに対して,標準正規化深部ReLUネットワークがスプライン補間をもたらすことを示す。 さらに,データのランクワンやホワイト化時の最適層重みに対する閉形式解も提供する。 同じ解析は、任意のデータに対してもバッチ正規化のあるアーキテクチャにも適用される。 したがって,最近の経験的観察である神経崩壊の完全な説明を得ることができ,そこではクラス平均は単純等角タイトフレームの頂点に崩壊する。

関連論文リスト

• Information-Theoretic Generalization Bounds for Deep Neural Networks [22.87479366196215]
  ディープニューラルネットワーク(DNN)は、実用的な応用において、非常に優れた一般化能力を示す。 本研究の目的は,情報理論の一般化境界による教師あり学習における深度の影響とメリットを捉えることである。
  論文  参考訳（メタデータ） (2024-04-04T03:20:35Z)
• From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
  我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。 トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
  論文  参考訳（メタデータ） (2023-09-28T15:19:30Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Deep Networks Provably Classify Data on Curves [12.309532551321334]
  本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
  論文  参考訳（メタデータ） (2021-07-29T20:40:04Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。