論文の概要: Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable

• arxiv url: http://arxiv.org/abs/2205.11716v1
• Date: Tue, 24 May 2022 01:38:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-26 10:51:27.779430
• Title: Randomly Initialized One-Layer Neural Networks Make Data Linearly Separable
• Title（参考訳）: ランダムに初期化した1層ニューラルネットワークによるデータ分離
• Authors: Promit Ghosal, Srinath Mahankali, Yihang Sun
• Abstract要約: ランダムに一層ニューラルネットワークが2つの集合を高い確率で2つの線形分離可能な集合に変換することを示す。 また,ランダムな一層ニューラルネットワークと二層ニューラルネットワークの分離能力の比較実験を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, neural networks have been shown to perform exceptionally well in transforming two arbitrary sets into two linearly separable sets. Doing this with a randomly initialized neural network is of immense interest because the associated computation is cheaper than using fully trained networks. In this paper, we show that, with sufficient width, a randomly initialized one-layer neural network transforms two sets into two linearly separable sets with high probability. Furthermore, we provide explicit bounds on the required width of the neural network for this to occur. Our first bound is exponential in the input dimension and polynomial in all other parameters, while our second bound is independent of the input dimension, thereby overcoming the curse of dimensionality. We also perform an experimental study comparing the separation capacity of randomly initialized one-layer and two-layer neural networks. With correctly chosen biases, our study shows for low-dimensional data, the two-layer neural network outperforms the one-layer network. However, the opposite is observed for higher-dimensional data.
• Abstract（参考訳）: 近年、ニューラルネットワークは2つの任意の集合を2つの線形分離可能な集合に変換する際に非常によく機能することが示されている。 これをランダムに初期化ニューラルネットワークで行うことは、完全にトレーニングされたネットワークを使用するよりも、関連する計算が安価であるため、非常に興味深い。 本稿では,十分な幅で,ランダムに初期化した一層ニューラルネットワークが2つの集合を高い確率で2つの線形分離可能な集合に変換することを示す。 さらに,これを実現するために,ニューラルネットワークの所要幅の明示的な境界を提供する。 私たちの第一境界は入力次元と他の全てのパラメータの多項式において指数関数であり、第二境界は入力次元とは独立であり、従って次元の呪いを克服する。 また,ランダムに初期化した一層ニューラルネットワークと二層ニューラルネットワークの分離能力の比較実験を行った。 バイアスを正しく選択することで、低次元データに対して、2層ニューラルネットワークが1層ネットワークを上回ることを示した。 しかし、高次元データでは逆が観察される。

関連論文リスト

• Compelling ReLU Networks to Exhibit Exponentially Many Linear Regions at Initialization and During Training [1.7205106391379021]
  ReLUアクティベーションを持つニューラルネットワークは、断片的線形関数の合成と見なすことができる。 我々は,ネットワークに複数の線形領域を指数関数的に表示させる新たなトレーニング戦略を導入する。 このアプローチにより、無作為な関数よりも数桁精度の高い凸1次元関数の近似を学習することができる。
  論文  参考訳（メタデータ） (2023-11-29T19:09:48Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
  本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。 組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
  論文  参考訳（メタデータ） (2022-08-08T03:13:24Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Vector-output ReLU Neural Network Problems are Copositive Programs: Convex Analysis of Two Layer Networks and Polynomial-time Algorithms [29.975118690758126]
  2層ベクトル無限ReLUニューラルネットワークトレーニング問題の半出力グローバル双対について述べる。 特定の問題のクラスに対して正確であることが保証されるソリューションを提供する。
  論文  参考訳（メタデータ） (2020-12-24T17:03:30Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。