論文の概要: Optimization-Based Separations for Neural Networks
- arxiv url: http://arxiv.org/abs/2112.02393v1
- Date: Sat, 4 Dec 2021 18:07:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 17:05:04.608556
- Title: Optimization-Based Separations for Neural Networks
- Title（参考訳）: 最適化に基づくニューラルネットワークの分離
- Authors: Itay Safran, Jason D. Lee
- Abstract要約: 本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
- 参考スコア（独自算出の注目度）: 57.875347246373956
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth separation results propose a possible theoretical explanation for the
benefits of deep neural networks over shallower architectures, establishing
that the former possess superior approximation capabilities. However, there are
no known results in which the deeper architecture leverages this advantage into
a provable optimization guarantee. We prove that when the data are generated by
a distribution with radial symmetry which satisfies some mild assumptions,
gradient descent can efficiently learn ball indicator functions using a depth 2
neural network with two layers of sigmoidal activations, and where the hidden
layer is held fixed throughout training. Since it is known that ball indicators
are hard to approximate with respect to a certain heavy-tailed distribution
when using depth 2 networks with a single layer of non-linearities (Safran and
Shamir, 2017), this establishes what is to the best of our knowledge, the first
optimization-based separation result where the approximation benefits of the
stronger architecture provably manifest in practice. Our proof technique relies
on a random features approach which reduces the problem to learning with a
single neuron, where new tools are required to show the convergence of gradient
descent when the distribution of the data is heavy-tailed.
- Abstract（参考訳）: 深さ分離の結果は、より浅いアーキテクチャに対するディープニューラルネットワークの利点を理論的に説明し、前者が優れた近似能力を持っていることを示す。
しかし、より深いアーキテクチャがこの利点を証明可能な最適化保証に活用する既知の結果はない。
軽度な仮定を満たす放射対称分布によってデータが生成される場合、勾配降下は2つのシグモイド活性化層を有する深さ2ニューラルネットワークを用いてボール指示関数を効率的に学習することができ、トレーニング中、隠れた層が固定されていることが証明される。
1つの非線形層を持つ深さ2のネットワークを使用する場合(safran and shamir, 2017)、ボールインジケータは特定の重み付き分布に対して近似することが難しいことが知られているので、これは我々の知識の最良のものを確立する最初の最適化に基づく分離結果である。
我々の証明手法は、単一のニューロンで学習する際の問題を軽減し、データの分布が重くなったら勾配降下の収束を示すために新しいツールが必要であるというランダムな特徴アプローチに依存している。
関連論文リスト
- Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。
勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。
勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文 参考訳（メタデータ） (2022-10-13T15:09:54Z) - On the non-universality of deep learning: quantifying the cost of
symmetry [24.86176236641865]
雑音勾配降下法(GD)で学習したニューラルネットワークによる学習の計算限界を証明する。
我々は、完全接続ネットワークが二進ハイパーキューブと単位球上で弱学習できる機能の特徴付けを行う。
我々の手法は勾配降下(SGD)に拡張され、完全に接続されたネットワークで学習するための非自明な結果を示す。
論文 参考訳（メタデータ） (2022-08-05T11:54:52Z) - A Local Geometric Interpretation of Feature Extraction in Deep
Feedforward Neural Networks [13.159994710917022]
本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。
本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
論文 参考訳（メタデータ） (2022-02-09T18:50:00Z) - Non-Gradient Manifold Neural Network [79.44066256794187]
ディープニューラルネットワーク(DNN)は通常、勾配降下による最適化に数千のイテレーションを要します。
非次最適化に基づく新しい多様体ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2021-06-15T06:39:13Z) - Universality and Optimality of Structured Deep Kernel Networks [0.0]
カーネルベースの手法は、柔軟で効率的で強力な近似モデルを生み出す。
機械学習手法の最近の成功は、ディープニューラルネットワーク(NN)によって駆動されている。
本稿では,特殊なタイプのカーネルを用いることで,ニューラルネットワークを連想させるモデルが得られることを示す。
論文 参考訳（メタデータ） (2021-05-15T14:10:35Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。
従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文 参考訳（メタデータ） (2021-03-09T14:51:34Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Approximation smooth and sparse functions by deep neural networks
without saturation [0.6396288020763143]
本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。
構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
論文 参考訳（メタデータ） (2020-01-13T09:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。