論文の概要: On Numerosity of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2011.08674v1
• Date: Sun, 1 Nov 2020 15:30:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 22:44:10.898650
• Title: On Numerosity of Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークの特異性について
• Authors: Xi Zhang and Xiaolin Wu
• Abstract要約: 視覚的物体認識のためだけに訓練されたディープニューラルネットワークにおいて,数感覚が自然に現れるという主張を実証する。 この主張を支持する統計的分析は、数認識ニューロンを特定するために使用されるサンプルセットが小さすぎることに欠陥がある。 ディープニューラルネットワークが、少数の数に対して、大人数よりも分布シフトに対して堅牢であることを示す、励まし証拠がいくつか見出されている。
• 参考スコア（独自算出の注目度）: 24.812267280543693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, a provocative claim was published that number sense spontaneously emerges in a deep neural network trained merely for visual object recognition. This has, if true, far reaching significance to the fields of machine learning and cognitive science alike. In this paper, we prove the above claim to be unfortunately incorrect. The statistical analysis to support the claim is flawed in that the sample set used to identify number-aware neurons is too small, compared to the huge number of neurons in the object recognition network. By this flawed analysis one could mistakenly identify number-sensing neurons in any randomly initialized deep neural networks that are not trained at all. With the above critique we ask the question what if a deep convolutional neural network is carefully trained for numerosity? Our findings are mixed. Even after being trained with number-depicting images, the deep learning approach still has difficulties to acquire the abstract concept of numbers, a cognitive task that preschoolers perform with ease. But on the other hand, we do find some encouraging evidences suggesting that deep neural networks are more robust to distribution shift for small numbers than for large numbers.
• Abstract（参考訳）: 近年,視覚物体認識のためだけに訓練された深層ニューラルネットワークに,数感覚が自発的に現れるという挑発的な主張が公表されている。 これは、もし本当なら、機械学習や認知科学の分野にもはるかに重要な意味を持つ。 本稿では,上記の主張が残念ながら誤りであることを示す。 この主張を支持する統計的分析は、対象認識ネットワークの膨大な数のニューロンと比較して、無数のニューロンを特定するために使用されるサンプルセットが小さすぎることに欠陥がある。 この欠陥分析により、ランダムに初期化されたディープニューラルネットワークにおいて、訓練を受けていない番号感知ニューロンを誤って識別することができる。 上述の批判では、深層畳み込みニューラルネットワークが数奇性のために慎重に訓練されている場合はどうだろうか? 私たちの発見はまちまちだ。 多数の画像で訓練された後も、ディープラーニングのアプローチでは、幼児が容易に行う認知的タスクである数字の抽象的な概念を習得するのは難しい。 しかし一方では、ディープニューラルネットワークが大規模なものよりも少ない数の分散シフトに頑健であることを示す、有望な証拠がいくつか発見されている。

関連論文リスト

• Verified Neural Compressed Sensing [58.98637799432153]
  精度の高い計算タスクのために、初めて(私たちの知識を最大限に活用するために)証明可能なニューラルネットワークを開発します。 極小問題次元(最大50)では、線形および双項線形測定からスパースベクトルを確実に回復するニューラルネットワークを訓練できることを示す。 ネットワークの複雑さは問題の難易度に適応できることを示し、従来の圧縮センシング手法が証明不可能な問題を解く。
  論文  参考訳（メタデータ） (2024-05-07T12:20:12Z)
• Identifying Interpretable Visual Features in Artificial and Biological Neural Systems [3.604033202771937]
  ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。 多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。 本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-17T17:41:28Z)
• Consistency of Neural Networks with Regularization [0.0]
  本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。 双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
  論文  参考訳（メタデータ） (2022-06-22T23:33:39Z)
• Searching for the Essence of Adversarial Perturbations [73.96215665913797]
  本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。 この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
  論文  参考訳（メタデータ） (2022-05-30T18:04:57Z)
• Neural Network Quantization for Efficient Inference: A Survey [0.0]
  ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。 本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
  論文  参考訳（メタデータ） (2021-12-08T22:49:39Z)
• The mathematics of adversarial attacks in AI -- Why deep learning is unstable despite the existence of stable neural networks [69.33657875725747]
  固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。 鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。 我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
  論文  参考訳（メタデータ） (2021-09-13T16:19:25Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• Mathematical Models of Overparameterized Neural Networks [25.329225766892126]
  我々は,2層ニューラルネットワークの解析に焦点をあて,重要な数学的モデルを説明する。 次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。
  論文  参考訳（メタデータ） (2020-12-27T17:48:31Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。