論文の概要: A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex
Lasso Models with Reflection Features
- arxiv url: http://arxiv.org/abs/2403.01046v1
- Date: Sat, 2 Mar 2024 00:33:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 15:26:35.564950
- Title: A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex
Lasso Models with Reflection Features
- Title(参考訳): 鏡のライブラリー:低次元のディープニューラルネットは反射特徴を持つ凸ラッソモデルである
- Authors: Emi Zeger, Yifei Wang, Aaron Mishkin, Tolga Ergen, Emmanuel Cand\`es,
Mert Pilanci
- Abstract要約: 1次元データ上でニューラルネットワークをトレーニングすることは、凸ラッソ問題を固定的、明示的に定義された特徴の辞書行列で解くのと等価であることを示す。
分割線形アクティベーションを持つ2層ネットワーク,最大4層までの細いReLUネットワーク,符号アクティベーションと任意の深さを持つ長方形およびツリーネットワークについて検討する。
- 参考スコア(独自算出の注目度): 57.58892343801882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We prove that training neural networks on 1-D data is equivalent to solving a
convex Lasso problem with a fixed, explicitly defined dictionary matrix of
features. The specific dictionary depends on the activation and depth. We
consider 2-layer networks with piecewise linear activations, deep narrow ReLU
networks with up to 4 layers, and rectangular and tree networks with sign
activation and arbitrary depth. Interestingly in ReLU networks, a fourth layer
creates features that represent reflections of training data about themselves.
The Lasso representation sheds insight to globally optimal networks and the
solution landscape.
- Abstract(参考訳): 1次元データに対するニューラルネットワークのトレーニングは,固定的で明示的な特徴の辞書行列を用いた凸ラッソ問題の解法と同値であることが証明される。
特定の辞書はアクティベーションと深さに依存する。
分割線形アクティベーションを持つ2層ネットワーク,最大4層までの細いReLUネットワーク,符号アクティベーションと任意の深さを持つ長方形およびツリーネットワークを考える。
興味深いことに、ReLUネットワークでは、第4のレイヤが、自分自身に関するトレーニングデータのリフレクションを表す機能を生成する。
Lasso表現は、グローバルに最適なネットワークとソリューションランドスケープに洞察を与える。
関連論文リスト
- The Evolution of the Interplay Between Input Distributions and Linear
Regions in Networks [20.97553518108504]
ReLUに基づくディープニューラルネットワークにおける線形凸領域の数をカウントする。
特に、任意の1次元入力に対して、それを表現するのに必要となるニューロンの数に対して最小限の閾値が存在することを証明している。
また、トレーニング中のReLUネットワークにおける決定境界の反復的改善プロセスも明らかにした。
論文 参考訳(メタデータ) (2023-10-28T15:04:53Z) - Linear Neural Network Layers Promote Learning Single- and Multiple-Index
Models [9.984696742463628]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワーク群を考察する。
この結果から,ReLUネットワークに線形層を追加することで,低ランク線形演算子で近似可能な関数を求める表現コストが得られることがわかった。
論文 参考訳(メタデータ) (2023-05-24T22:10:12Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳(メタデータ) (2022-12-29T20:57:46Z) - Neural Implicit Dictionary via Mixture-of-Expert Training [111.08941206369508]
ニューラルインシシット辞書(NID)を学習することで、データとトレーニング効率の両方を達成する汎用INRフレームワークを提案する。
我々のNIDは、所望の関数空間にまたがるように調整された座標ベースのImpworksのグループを組み立てる。
実験の結果,NIDは最大98%の入力データで2次元画像や3次元シーンの再現を2桁高速化できることがわかった。
論文 参考訳(メタデータ) (2022-07-08T05:07:19Z) - The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。
ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。
この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
論文 参考訳(メタデータ) (2022-02-02T02:33:24Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳(メタデータ) (2020-09-08T13:10:21Z) - Combine Convolution with Recurrent Networks for Text Classification [12.92202472766078]
本稿では,2つのネットワークの強みを最大限に維持するための新しい手法を提案する。
提案モデルでは、畳み込みニューラルネットワークを用いて、各行が異なる側面から各単語の重要性を反映する2次元重み行列を学習する。
両方向のRNNを用いて各単語を処理し、前後に隠された状態を融合して単語表現を得る神経テンソル層を用いる。
論文 参考訳(メタデータ) (2020-06-29T03:36:04Z) - Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。
正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。
ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
論文 参考訳(メタデータ) (2020-02-22T21:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。