論文の概要: Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks

• arxiv url: http://arxiv.org/abs/2110.09548v1
• Date: Mon, 18 Oct 2021 18:00:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 13:18:40.166758
• Title: Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
• Title（参考訳）: 経路正規化:並列ReLUネットワークにおける凸性と疎結合による正規化
• Authors: Tolga Ergen, Mert Pilanci
• Abstract要約: 深層ニューラルネットワークのトレーニングにおいて,隠れ凸性を明らかにするための新しい分析フレームワークを提案する。 経路正則化の訓練問題は高次元空間における単一凸問題として適用可能であることを示す。 我々は,大域的最適性を保証するパス正規化深部ReLUネットワークに対して,正確な時間トレーサビリティを証明した。
• 参考スコア（独自算出の注目度）: 39.799125462526234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite several attempts, the fundamental mechanisms behind the success of deep neural networks still remain elusive. To this end, we introduce a novel analytic framework to unveil hidden convexity in training deep neural networks. We consider a parallel architecture with multiple ReLU sub-networks, which includes many standard deep architectures and ResNets as its special cases. We then show that the training problem with path regularization can be cast as a single convex optimization problem in a high-dimensional space. We further prove that the equivalent convex program is regularized via a group sparsity inducing norm. Thus, a path regularized parallel architecture with ReLU sub-networks can be viewed as a parsimonious feature selection method in high-dimensions. More importantly, we show that the computational complexity required to globally optimize the equivalent convex problem is polynomial-time with respect to the number of data samples and feature dimension. Therefore, we prove exact polynomial-time trainability for path regularized deep ReLU networks with global optimality guarantees. We also provide several numerical experiments corroborating our theory.
• Abstract（参考訳）: いくつかの試みにもかかわらず、ディープニューラルネットワークの成功の背後にある基本的なメカニズムはまだ解明されていない。 そこで我々は,ディープニューラルネットワークのトレーニングにおいて,隠れ凸性を明らかにするための新しい分析フレームワークを提案する。 我々は、複数のreluサブネットワークを持つ並列アーキテクチャを検討し、その特殊なケースとして、多くの標準ディープアーキテクチャとresnetを含む。 そこで,経路正則化に関する学習問題は,高次元空間における単一凸最適化問題として適用可能であることを示す。 さらに,同値凸プログラムが群間隔誘導ノルムを介して正規化されることを証明した。 したがって、ReLUサブネットワークを用いた経路正規化並列アーキテクチャは、高次元における擬似特徴選択法とみなすことができる。 さらに、等価凸問題を大域的に最適化するために必要な計算複雑性は、データサンプルの数や特徴次元に関して多項式時間であることを示す。 そこで我々は,大域的最適性保証を持つ経路正規化深層reluネットワークの多項式時間学習精度を証明した。 また,この理論を裏付ける数値実験もいくつか実施する。

関連論文リスト

• Does a sparse ReLU network training problem always admit an optimum? [0.0]
  最適解の存在は、特にスパースReLUニューラルネットワークの文脈において、必ずしも保証されないことを示す。 特に,特定の疎度パターンを持つディープネットワークにおける最適化問題は,必ずしも最適パラメータを持つとは限らないことを示す。
  論文  参考訳（メタデータ） (2023-06-05T08:01:50Z)
• Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
  最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。 我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:48:16Z)
• Learning Non-Vacuous Generalization Bounds from Optimization [8.294831479902658]
  最適化の観点からは、単純だが空でない一般化を示す。 我々は、勾配アルゴリズムによってアクセスされた仮説セットが本質的にフラクタル的であることを利用して、この目標を達成する。 数値解析により,現代のニューラルネットワークにおいて,本手法が有意な一般化を保証することが実証された。
  論文  参考訳（メタデータ） (2022-06-09T08:59:46Z)
• Imbedding Deep Neural Networks [0.0]
  ニューラルODEのような連続深度ニューラルネットワークは、非線形ベクトル値の最適制御問題の観点から、残留ニューラルネットワークの理解を再燃させた。 本稿では,ネットワークの深さを基本変数とする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T22:00:41Z)
• Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
  私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。 我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
  論文  参考訳（メタデータ） (2021-11-02T20:24:01Z)
• Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs [39.799125462526234]
  我々は凸最適化のレンズを通して隠れ正規化機構を明らかにするための新しい統一フレームワークを開発した。 我々は、合成データセットと実データセットの両方を含む実験を通して、理論的結果を数値的に検証する。
  論文  参考訳（メタデータ） (2021-10-11T18:00:30Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)
• Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
  有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。 正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。 高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
  論文  参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。