論文の概要: Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs

• arxiv url: http://arxiv.org/abs/2309.15096v1
• Date: Tue, 26 Sep 2023 17:42:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 12:45:20.762395
• Title: Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs
• Title（参考訳）: NTKの修正:ニューラルネットワークの線形化から厳密な凸プログラムへ
• Authors: Rajat Vadiraj Dwaraknath, Tolga Ergen, Mert Pilanci
• Abstract要約: 学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
• 参考スコア（独自算出の注目度）: 63.768739279562105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, theoretical analyses of deep neural networks have broadly focused on two directions: 1) Providing insight into neural network training by SGD in the limit of infinite hidden-layer width and infinitesimally small learning rate (also known as gradient flow) via the Neural Tangent Kernel (NTK), and 2) Globally optimizing the regularized training objective via cone-constrained convex reformulations of ReLU networks. The latter research direction also yielded an alternative formulation of the ReLU network, called a gated ReLU network, that is globally optimizable via efficient unconstrained convex programs. In this work, we interpret the convex program for this gated ReLU network as a Multiple Kernel Learning (MKL) model with a weighted data masking feature map and establish a connection to the NTK. Specifically, we show that for a particular choice of mask weights that do not depend on the learning targets, this kernel is equivalent to the NTK of the gated ReLU network on the training data. A consequence of this lack of dependence on the targets is that the NTK cannot perform better than the optimal MKL kernel on the training set. By using iterative reweighting, we improve the weights induced by the NTK to obtain the optimal MKL kernel which is equivalent to the solution of the exact convex reformulation of the gated ReLU network. We also provide several numerical simulations corroborating our theory. Additionally, we provide an analysis of the prediction error of the resulting optimal kernel via consistency results for the group lasso.
• Abstract（参考訳）: 近年,深層ニューラルネットワークの理論解析は2つの方向に焦点を当てている。 1)ニューラルタンジェントカーネル(NTK)による無限の隠蔽層幅と無限小学習率(勾配流とも呼ばれる)の限界におけるSGDによるニューラルネットワークトレーニングの洞察、およびSGDによるニューラルネットワークトレーニング 2)ReLUネットワークのコーン拘束凸修正による正規化学習目標のグローバル最適化 後者の研究方向はまた、効率の良い非拘束凸プログラムによってグローバルに最適化可能なゲート付きreluネットワークと呼ばれるreluネットワークの代替定式化も行った。 本研究では,このゲート型reluネットワークの凸プログラムを,重み付きデータマスキング特徴マップを用いたマルチカーネル学習(mkl)モデルとして解釈し,ntkへの接続を確立する。 具体的には、学習対象に依存しないマスク重みの特定の選択に対して、このカーネルは、トレーニングデータ上のゲートされたreluネットワークのntkと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。 繰り返し再重み付けを用いることで、NTKによって誘導される重みを改良し、ゲートReLUネットワークの正確な凸再構成の解と等価な最適MKLカーネルを得る。 また、我々の理論を裏付ける数値シミュレーションをいくつか提供する。 さらに,結果の最適カーネルの予測誤差を群lassoの一貫性の結果から解析する。

関連論文リスト

• Equidistribution-based training of Free Knot Splines and ReLU Neural Networks [0.0]
  直交線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いた一次元関数近似の問題点を考察する。 ネットワークの幅が大きくなるにつれて,悪条件が急速に低下することを示す。 我々は、ReLU NNのトレーニング手順を改善するために、最適片方向線形補間理論を利用する。
  論文  参考訳（メタデータ） (2024-07-02T10:51:36Z)
• Reverse Engineering Deep ReLU Networks An Optimization-based Algorithm [0.0]
  本稿では,凸最適化手法とサンプリングに基づくアプローチを利用して,深部ReLUネットワークを再構築する手法を提案する。 我々の研究は、リバースエンジニアリングの深いReLUネットワークへの取り組みに寄与し、ニューラルネットワークの解釈可能性とセキュリティの新たな進歩の道を開く。
  論文  参考訳（メタデータ） (2023-12-07T20:15:06Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Learning k-Level Structured Sparse Neural Networks Using Group Envelope Regularization [4.0554893636822]
  制約のあるリソースに大規模ディープニューラルネットワークをデプロイするための新しいアプローチを導入する。 この手法は推論時間を短縮し、メモリ需要と消費電力を減らすことを目的とする。
  論文  参考訳（メタデータ） (2022-12-25T15:40:05Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions [41.337814204665364]
  ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。 凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:50:53Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
  コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。 我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
  論文  参考訳（メタデータ） (2020-06-10T15:38:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。