論文の概要: Depth Separation with Multilayer Mean-Field Networks
- arxiv url: http://arxiv.org/abs/2304.01063v1
- Date: Mon, 3 Apr 2023 15:18:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 14:42:52.396595
- Title: Depth Separation with Multilayer Mean-Field Networks
- Title(参考訳): 多層平均場ネットワークによる深度分離
- Authors: Yunwei Ren, Mo Zhou, Rong Ge
- Abstract要約: arXiv:1904.06984は3層ネットワークで近似できるが,任意の2層ネットワークでは近似できない関数を構築した。
この結果は、平均フィールド制限を多層ネットワークに拡張する新しい方法に依拠している。
- 参考スコア(独自算出の注目度): 14.01059700772468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth separation -- why a deeper network is more powerful than a shallower
one -- has been a major problem in deep learning theory. Previous results often
focus on representation power. For example, arXiv:1904.06984 constructed a
function that is easy to approximate using a 3-layer network but not
approximable by any 2-layer network. In this paper, we show that this
separation is in fact algorithmic: one can learn the function constructed by
arXiv:1904.06984 using an overparameterized network with polynomially many
neurons efficiently. Our result relies on a new way of extending the mean-field
limit to multilayer networks, and a decomposition of loss that factors out the
error introduced by the discretization of infinite-width mean-field networks.
- Abstract(参考訳): 深層ネットワークが浅層ネットワークよりも強力な理由である深層分離は、ディープラーニング理論において大きな問題となっている。
以前の結果はしばしば表現力にフォーカスする。
例えば、arXiv:1904.06984は3層ネットワークを使って簡単に近似できる関数を構築したが、2層ネットワークでは近似できない。
本稿では,arxiv:1904.06984によって構築された関数を,多項式数のニューロンを効率的に持つ超パラメータネットワークを用いて学習することができる。
その結果、平均場限界を多層ネットワークに拡張する新しい方法と、無限幅平均場ネットワークの離散化によって生じる誤差を要因とする損失の分解に依拠する。
関連論文リスト
- Rethink Depth Separation with Intra-layer Links [23.867032824891723]
距離分離理論をショートカットの文脈で研究する。
層内リンクを持つ浅層ネットワークは、深層ネットワークによって構築されたハード関数を表現するために、以前ほど広い範囲を行き来する必要はないことを示す。
本結果は,ショートカット領域における限界を検証することによって,既存の深さ分離理論を補完するものである。
論文 参考訳(メタデータ) (2023-05-11T11:54:36Z) - Rosenblatt's first theorem and frugality of deep learning [0.0]
浅いネットワークの全零性に関するローゼンブラットの定理(英語版)は、初等パーセプトロンが訓練集合に相違がなければ任意の分類問題を解くことができることを述べる。
ミンスキーとパジェットは、神経入力に制限を課した初等パーセプトロンを、隠れた層における各ニューロンの結合数や受容野の比較的小さな直径とみなした。
このノートでは、最初のローゼンブラットの定理を実演し、初等パーセプトロンが旅行迷路問題を解く方法を示し、その解の複雑さを分析した。
論文 参考訳(メタデータ) (2022-08-29T09:44:27Z) - Optimization-Based Separations for Neural Networks [57.875347246373956]
本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。
これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
論文 参考訳(メタデータ) (2021-12-04T18:07:47Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。
ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文 参考訳(メタデータ) (2021-06-23T18:16:34Z) - Learning distinct features helps, provably [98.78384185493624]
最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。
隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
論文 参考訳(メタデータ) (2021-06-10T19:14:45Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳(メタデータ) (2021-01-31T11:32:30Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳(メタデータ) (2020-10-29T15:47:26Z) - Learning Deep ReLU Networks Is Fixed-Parameter Tractable [21.625005195943707]
ガウス入力に関して未知のReLUネットワークを学習する問題を考察する。
ランニング時間が周囲次元の固定重みとなるアルゴリズムを与える。
我々の境界は、隠れた単位数、深さ、スペクトルノルムのスペクトルノルム、リプシッツ定数に依存する。
論文 参考訳(メタデータ) (2020-09-28T17:58:43Z) - ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。
本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文 参考訳(メタデータ) (2020-06-28T23:09:27Z) - Neural Networks with Small Weights and Depth-Separation Barriers [40.66211670342284]
一定の深さでは、既存の結果が2ドルと3ドルに制限され、より深い深さで結果を達成することが重要な問題となっている。
我々はフィードフォワードのReLUネットワークに注力し、その効果を4ドル以上の金額で証明する上での基本的な障壁を証明している。
論文 参考訳(メタデータ) (2020-05-31T21:56:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。