論文の概要: Convex Formulations for Training Two-Layer ReLU Neural Networks

• arxiv url: http://arxiv.org/abs/2410.22311v1
• Date: Tue, 29 Oct 2024 17:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:03.932318
• Title: Convex Formulations for Training Two-Layer ReLU Neural Networks
• Title（参考訳）: 2層ReLUニューラルネットワークの訓練のための凸定式化
• Authors: Karthik Prakhya, Tolga Birdal, Alp Yurtsever,
• Abstract要約: 非層NPハード最適化問題は、機械学習モデルにとって不可欠である。 有限幅2つのニューラルネットワークで解ける半定緩和を導入する。
• 参考スコア（独自算出の注目度）: 21.88871868680998
• License:
• Abstract: Solving non-convex, NP-hard optimization problems is crucial for training machine learning models, including neural networks. However, non-convexity often leads to black-box machine learning models with unclear inner workings. While convex formulations have been used for verifying neural network robustness, their application to training neural networks remains less explored. In response to this challenge, we reformulate the problem of training infinite-width two-layer ReLU networks as a convex completely positive program in a finite-dimensional (lifted) space. Despite the convexity, solving this problem remains NP-hard due to the complete positivity constraint. To overcome this challenge, we introduce a semidefinite relaxation that can be solved in polynomial time. We then experimentally evaluate the tightness of this relaxation, demonstrating its competitive performance in test accuracy across a range of classification tasks.
• Abstract（参考訳）: ニューラルネットワークを含む機械学習モデルのトレーニングには、非凸、NPハード最適化の問題の解決が不可欠である。 しかし、非凸性はしばしば内部動作が不明なブラックボックス機械学習モデルにつながる。 凸の定式化はニューラルネットワークの堅牢性を検証するために使われてきたが、ニューラルネットワークのトレーニングへの応用はいまだ研究されていない。 この課題に対応するために、有限次元(リフト)空間における凸完全正のプログラムとして無限幅2層ReLUネットワークをトレーニングする問題を再構成する。 凸性にもかかわらず、完全な正の制約のため、この問題の解決はNPハードのままである。 この課題を克服するために、多項式時間で解ける半定緩和を導入する。 次に, この緩和の厳密さを実験的に評価し, 様々な分類課題における試験精度の競争性能を実証した。

関連論文リスト

• LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
  本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。 本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
  論文  参考訳（メタデータ） (2024-07-18T22:05:21Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• Benign Overfitting for Two-layer ReLU Convolutional Neural Networks [60.19739010031304]
  ラベルフリップ雑音を持つ2層ReLU畳み込みニューラルネットワークを学習するためのアルゴリズム依存型リスクバウンダリを確立する。 緩やかな条件下では、勾配降下によってトレーニングされたニューラルネットワークは、ほぼゼロに近いトレーニング損失とベイズ最適試験リスクを達成できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T18:59:38Z)
• A cusp-capturing PINN for elliptic interface problems [0.0]
  ネットワークに付加的な特徴入力としてカスプ強化レベルセット関数を導入し,本質的な解特性を維持する。 提案したニューラルネットワークはメッシュフリーの利点があるため、不規則なドメインでの問題を容易に処理できる。 本研究では,カスプキャプチャ手法の有効性とネットワークモデルの精度を実証するために,一連の数値実験を行った。
  論文  参考訳（メタデータ） (2022-10-16T03:05:18Z)
• Benign Overfitting in Two-layer Convolutional Neural Networks [90.75603889605043]
  2層畳み込みニューラルネットワーク(CNN)の訓練における良性過剰適合現象の検討 信号対雑音比が一定の条件を満たすと、勾配降下により訓練された2層CNNが任意に小さな訓練と試験損失を達成できることを示す。 一方、この条件が保たない場合、オーバーフィッティングは有害となり、得られたCNNは一定レベルのテスト損失しか達成できない。
  論文  参考訳（メタデータ） (2022-02-14T07:45:51Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
  2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。 特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
  論文  参考訳（メタデータ） (2020-12-24T17:03:30Z)
• Convex Regularization Behind Neural Reconstruction [21.369208659395042]
  本論文では、凸ソルバにニューラルネットワークを拡張可能にする凸双対性フレームワークを提唱する。 MNIST fastMRIデータセットを用いた実験は、二重ネットワーク最適化問題の有効性を確認する。
  論文  参考訳（メタデータ） (2020-12-09T16:57:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。