論文の概要: Why Do Networks Need Negative Weights?

• arxiv url: http://arxiv.org/abs/2208.03211v1
• Date: Fri, 5 Aug 2022 14:54:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-08 12:06:53.050429
• Title: Why Do Networks Need Negative Weights?
• Title（参考訳）: なぜネットワークは負の重み付けを必要とするのか?
• Authors: Qingyang Wang, Michael A. Powell, Ali Geisa, Eric Bridgeford, Joshua T. Vogelstein
• Abstract要約: 我々は、全ての非負重みを持つディープニューラルネットワークが普遍近似器ではないことを証明した。 この結果は、それまでの結果を証明し、その必要性を示すことなく、多くの深層学習文学によって仮定される。
• 参考スコア（独自算出の注目度）: 7.5482204756875735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why do networks have negative weights at all? The answer is: to learn more functions. We mathematically prove that deep neural networks with all non-negative weights are not universal approximators. This fundamental result is assumed by much of the deep learning literature without previously proving the result and demonstrating its necessity.
• Abstract（参考訳）: なぜネットワークは負の重みを持つのか? その答えは、もっと機能を学ぶことです。 非負の重みを持つディープニューラルネットワークが普遍近似器ではないことを数学的に証明する。 この基本的な結果は、それまでの結果を証明し、その必要性を示すことなく、多くの深層学習文学によって仮定される。

関連論文リスト

• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• The Role Of Biology In Deep Learning [0.0]
  この研究は、その歴史の一部を要約し、現代の理論神経科学をディープラーニングの分野から人工ニューラルネットワークの実験に取り入れている。 特に、反復等級プルーニングは、性能を損なうことなく、33倍の重量で疎結合ネットワークを訓練するために用いられる。 これらは、重量空間だけで画像ノイズの堅牢性を改善するという仮説をテストし、最終的に否定するために使用される。
  論文  参考訳（メタデータ） (2022-09-07T23:22:57Z)
• Meet You Halfway: Explaining Deep Learning Mysteries [0.0]
  本稿では,ネットワークの振舞いに光を当てることを目的とした,形式的な記述を伴う新しい概念的枠組みを提案する。 なぜニューラルネットワークは一般化能力を獲得するのか? 我々は、この新しいフレームワークと基礎となる理論をサポートする包括的な実験セットを提供する。
  論文  参考訳（メタデータ） (2022-06-09T12:43:10Z)
• Emergence of Machine Language: Towards Symbolic Intelligence with Neural Networks [73.94290462239061]
  本稿では、ニューラルネットワークを用いてシンボルとコネクショナリズムの原理を組み合わせることで、離散表現を導出することを提案する。 対話型環境とタスクを設計することにより、機械が自発的で柔軟でセマンティックな言語を生成できることを実証した。
  論文  参考訳（メタデータ） (2022-01-14T14:54:58Z)
• Abstraction, Reasoning and Deep Learning: A Study of the "Look and Say" Sequence [0.0]
  ディープニューラルネットワークは、大規模なデータセットでトレーニングされた場合、高い能力(精度で測定される)を示すことができる。 パズルデータ「Look and Say」の2つのセット実験について報告する。 トレーニングデータとテストデータの両方で)驚くべき精度にもかかわらず、実際のL&Sシーケンス上でのトレーニングプログラムのパフォーマンスは悪いです。
  論文  参考訳（メタデータ） (2021-09-27T01:41:37Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Towards Human-Understandable Visual Explanations:Imperceptible High-frequency Cues Can Better Be Removed [46.36600006968488]
  HVS(Human Visual System)と精神物理学に制約された人間の能力を考慮する必要があると我々は主張する。 実顔画像と偽顔画像の分類に関するケーススタディを行い、標準的なニューラルネットワークによって選択された特徴の多くは、人間には認識できないことが判明した。
  論文  参考訳（メタデータ） (2021-04-16T08:11:30Z)
• A new role for circuit expansion for learning in neural networks [1.14179290793997]
  ニューラルネットワークの拡張は,学習期間終了後に拡張された構造が切断された場合でも,その一般化性能を向上させることができることを示す。 拡張された学生ネットワークの一般化誤差は,ネットワークの規模が大きくなるにつれて減少し続けることを示す。
  論文  参考訳（メタデータ） (2020-08-19T20:00:44Z)
• The Representation Theory of Neural Networks [7.724617675868718]
  ニューラルネットワークは、量子表現の数学的理論によって表現できることを示す。 ネットワーククイバーが共通のニューラルネットワークの概念に優しく適応していることを示します。 また、ニューラルネットワークがデータから表現を生成する方法を理解するためのクイバー表現モデルも提供します。
  論文  参考訳（メタデータ） (2020-07-23T19:02:14Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。