論文の概要: Learning Parities with Neural Networks

• arxiv url: http://arxiv.org/abs/2002.07400v2
• Date: Fri, 3 Jul 2020 11:38:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 19:25:25.198269
• Title: Learning Parities with Neural Networks
• Title（参考訳）: ニューラルネットワークと同等の学習
• Authors: Amit Daniely, Eran Malach
• Abstract要約: 本質的に非線形であるモデルのリーン性を示すための一歩を踏み出します。 特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。
• 参考スコア（独自算出の注目度）: 45.6877715768796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years we see a rapidly growing line of research which shows learnability of various models via common neural network algorithms. Yet, besides a very few outliers, these results show learnability of models that can be learned using linear methods. Namely, such results show that learning neural-networks with gradient-descent is competitive with learning a linear classifier on top of a data-independent representation of the examples. This leaves much to be desired, as neural networks are far more successful than linear methods. Furthermore, on the more conceptual level, linear models don't seem to capture the "deepness" of deep networks. In this paper we make a step towards showing leanability of models that are inherently non-linear. We show that under certain distributions, sparse parities are learnable via gradient decent on depth-two network. On the other hand, under the same distributions, these parities cannot be learned efficiently by linear methods.
• Abstract（参考訳）: 近年,ニューラルネットワークアルゴリズムを用いて,様々なモデルの学習可能性を示す研究が急速に進んでいる。 しかし,この結果から線形手法を用いて学習可能なモデルの学習可能性を示すことができる。 すなわち、勾配差のあるニューラルネットワークの学習は、サンプルのデータ非依存表現の上の線形分類器の学習と競合することを示す。 ニューラルネットワークは線形手法よりもはるかに成功しているので、これは望ましくはない。 さらに、より概念的なレベルでは、線形モデルはディープネットワークの「深み」を捉えていないようである。 本稿では、本質的に非線形であるモデルのリーン性を示すためのステップを示す。 特定の分布下では、疎パリティは深さ2のネットワーク上で適切な勾配によって学習可能であることを示す。 一方、同じ分布下では、これらのパリティは線形な方法では効率的に学習できない。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
  本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。 実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
  論文  参考訳（メタデータ） (2023-02-02T05:00:29Z)
• Slimmable Networks for Contrastive Self-supervised Learning [69.9454691873866]
  自己教師付き学習は、大規模なモデルを事前訓練する上で大きな進歩を遂げるが、小さなモデルでは苦労する。 追加の教師を必要とせず、訓練済みの小型モデルを得るための1段階のソリューションも導入する。 スリム化可能なネットワークは、完全なネットワークと、様々なネットワークを得るために一度にトレーニングできるいくつかの重み共有サブネットワークから構成される。
  論文  参考訳（メタデータ） (2022-09-30T15:15:05Z)
• Transition to Linearity of Wide Neural Networks is an Emerging Property of Assembling Weak Models [20.44438519046223]
  線形出力層を持つ広帯域ニューラルネットワークは、ニアリニアであり、ニアコンスタント・ニューラル・タンジェント・カーネル(NTK)を有することが示されている。 広義のニューラルネットワークの線形性は、実際には、多数の多様な「弱」サブモデルを組み立てる新たな性質であり、いずれもアセンブリを支配していないことを示す。
  論文  参考訳（メタデータ） (2022-03-10T01:27:01Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
  モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。 線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。 以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
  論文  参考訳（メタデータ） (2020-10-27T17:56:14Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。