論文の概要: Learning Parities with Neural Networks
- arxiv url: http://arxiv.org/abs/2002.07400v2
- Date: Fri, 3 Jul 2020 11:38:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:25:25.198269
- Title: Learning Parities with Neural Networks
- Title(参考訳): ニューラルネットワークと同等の学習
- Authors: Amit Daniely, Eran Malach
- Abstract要約: 本質的に非線形であるモデルのリーン性を示すための一歩を踏み出します。
特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
- 参考スコア(独自算出の注目度): 45.6877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years we see a rapidly growing line of research which shows
learnability of various models via common neural network algorithms. Yet,
besides a very few outliers, these results show learnability of models that can
be learned using linear methods. Namely, such results show that learning
neural-networks with gradient-descent is competitive with learning a linear
classifier on top of a data-independent representation of the examples. This
leaves much to be desired, as neural networks are far more successful than
linear methods. Furthermore, on the more conceptual level, linear models don't
seem to capture the "deepness" of deep networks. In this paper we make a step
towards showing leanability of models that are inherently non-linear. We show
that under certain distributions, sparse parities are learnable via gradient
decent on depth-two network. On the other hand, under the same distributions,
these parities cannot be learned efficiently by linear methods.
- Abstract(参考訳): 近年,ニューラルネットワークアルゴリズムを用いて,様々なモデルの学習可能性を示す研究が急速に進んでいる。
しかし,この結果から線形手法を用いて学習可能なモデルの学習可能性を示すことができる。
すなわち、勾配差のあるニューラルネットワークの学習は、サンプルのデータ非依存表現の上の線形分類器の学習と競合することを示す。
ニューラルネットワークは線形手法よりもはるかに成功しているので、これは望ましくはない。
さらに、より概念的なレベルでは、線形モデルはディープネットワークの「深み」を捉えていないようである。
本稿では、本質的に非線形であるモデルのリーン性を示すためのステップを示す。
特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
一方、同じ分布下では、これらのパリティは線形な方法では効率的に学習できない。
関連論文リスト
- The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳(メタデータ) (2023-02-02T05:00:29Z) - Transition to Linearity of Wide Neural Networks is an Emerging Property
of Assembling Weak Models [20.44438519046223]
線形出力層を持つ広帯域ニューラルネットワークは、ニアリニアであり、ニアコンスタント・ニューラル・タンジェント・カーネル(NTK)を有することが示されている。
広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
論文 参考訳(メタデータ) (2022-03-10T01:27:01Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文 参考訳(メタデータ) (2021-05-11T08:15:25Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳(メタデータ) (2020-10-27T17:56:14Z) - How Neural Networks Extrapolate: From Feedforward to Graph Neural
Networks [80.55378250013496]
勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。
グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
論文 参考訳(メタデータ) (2020-09-24T17:48:59Z) - The Surprising Simplicity of the Early-Time Learning Dynamics of Neural
Networks [43.860358308049044]
研究において、これらの共通認識は、学習の初期段階において完全に誤りであることを示す。
この驚くべき単純さは、畳み込みアーキテクチャを持つより多くのレイヤを持つネットワークで持続することができる、と私たちは主張する。
論文 参考訳(メタデータ) (2020-06-25T17:42:49Z) - The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。
現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。
我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
論文 参考訳(メタデータ) (2020-03-04T17:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。