Fugu-MT 論文翻訳(概要): Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach

論文の概要: Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach

arxiv url: http://arxiv.org/abs/2007.08009v1
Date: Wed, 15 Jul 2020 21:40:51 GMT
ステータス: 処理完了
システム内更新日: 2022-11-10 05:27:22.369030
Title: Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach
Title（参考訳）: 無限大のニューラルネットワークによるスパース補間の凸化:原子ノルムアプローチ
Authors: Akshay Kumar and Jarvis Haupt
Abstract要約: この研究は、漏れやすい整列線形単位活性化を伴うスパース(ニューロン数)、無限幅の単一の隠蔽層ニューラルネットワークによる正確なデータの問題を調べる。ネットワークの重みと偏りに関するいくつかの異なる制約の下で、この問題に対する対応する原子集合の凸殻の簡易な特徴付けを導出する。また,提案手法を二項分類問題に拡張した。
参考スコア（独自算出の注目度）: 4.380224449592902
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This work examines the problem of exact data interpolation via sparse (neuron count), infinitely wide, single hidden layer neural networks with leaky rectified linear unit activations. Using the atomic norm framework of [Chandrasekaran et al., 2012], we derive simple characterizations of the convex hulls of the corresponding atomic sets for this problem under several different constraints on the weights and biases of the network, thus obtaining equivalent convex formulations for these problems. A modest extension of our proposed framework to a binary classification problem is also presented. We explore the efficacy of the resulting formulations experimentally, and compare with networks trained via gradient descent.
Abstract（参考訳）: 本研究では,スパルス(ニューロン数)による正確なデータ補間の問題について検討する。 Chandrasekaran et al., 2012) の原子ノルムの枠組みを用いて、この問題に対する対応する原子集合の凸殻の簡易な特徴づけを、ネットワークの重みとバイアスに関するいくつかの異なる制約の下で導き、これらの問題に対して等価な凸公式を得る。提案フレームワークのバイナリ分類問題への控えめな拡張も提示した。得られた定式化の有効性を実験的に検討し,勾配降下による学習ネットワークと比較した。

関連論文リスト

Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。よりスムーズな関数との補間により、より一般化できることを示す。
論文参考訳（メタデータ） (2023-05-30T19:37:44Z)
Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
論文参考訳（メタデータ） (2023-01-28T00:06:22Z)
The Sample Complexity of One-Hidden-Layer Neural Networks [57.6421258363243]
本研究では,スカラー値を持つ一層ネットワークのクラスとユークリッドノルムで有界な入力について検討する。隠蔽層重み行列のスペクトルノルムの制御は、一様収束を保証するには不十分であることを示す。スペクトルノルム制御が十分であることを示す2つの重要な設定を解析する。
論文参考訳（メタデータ） (2022-02-13T07:12:02Z)
Non-Vacuous Generalisation Bounds for Shallow Neural Networks [5.799808780731661]
我々は、単一の隠蔽層を持つ特定の種類の浅いニューラルネットワークに焦点を当てる。我々はPAC-ベイジアン理論を通じて新しい一般化を導出する。ネットワークがMNISTとFashion-MNISTのバニラ勾配勾配降下で訓練される場合,我々の限界は経験的に非空洞である。
論文参考訳（メタデータ） (2022-02-03T14:59:51Z)
Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。また,2層ニューラルネットワークについても同様の結果が得られた。
論文参考訳（メタデータ） (2021-08-10T23:30:29Z)
Deep Networks Provably Classify Data on Curves [12.309532551321334]
本研究では, 完全連結ニューラルネットワークを用いて, 単位球上の2つの不連続な滑らかな曲線から引き出されたデータを分類するモデル問題について検討する。 i) ネットワーク深度が問題の難易度と (ii) ネットワーク幅と標本数に固有の性質に比例すると, ランダムな勾配降下は2つの曲線上のすべての点を高い確率で正しく分類する。
論文参考訳（メタデータ） (2021-07-29T20:40:04Z)
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending [0.2294014185517203]
ニューラルネットワークのアンサンブルを用いて集約回帰器を構成するインクリメンタルアルゴリズムを導入する。集合回帰器と新たに訓練されたニューラルネットワークを凸性制約下で最適にブレンドする。このフレームワークでは、直線性の問題はまったく発生せず、メソッドが正確かつ堅牢になるようにレンダリングします。
論文参考訳（メタデータ） (2021-04-30T01:32:08Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)
Beyond Dropout: Feature Map Distortion to Regularize Deep Neural Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。上記の問題に対処するための特徴歪み法(Disout)を提案する。より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文参考訳（メタデータ） (2020-02-23T13:59:13Z)
Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。