論文の概要: On Numerosity of Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2011.08674v1
- Date: Sun, 1 Nov 2020 15:30:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-30 22:44:10.898650
- Title: On Numerosity of Deep Neural Networks
- Title(参考訳): 深部ニューラルネットワークの特異性について
- Authors: Xi Zhang and Xiaolin Wu
- Abstract要約: 視覚的物体認識のためだけに訓練されたディープニューラルネットワークにおいて,数感覚が自然に現れるという主張を実証する。
この主張を支持する統計的分析は、数認識ニューロンを特定するために使用されるサンプルセットが小さすぎることに欠陥がある。
ディープニューラルネットワークが、少数の数に対して、大人数よりも分布シフトに対して堅牢であることを示す、励まし証拠がいくつか見出されている。
- 参考スコア(独自算出の注目度): 24.812267280543693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, a provocative claim was published that number sense spontaneously
emerges in a deep neural network trained merely for visual object recognition.
This has, if true, far reaching significance to the fields of machine learning
and cognitive science alike. In this paper, we prove the above claim to be
unfortunately incorrect. The statistical analysis to support the claim is
flawed in that the sample set used to identify number-aware neurons is too
small, compared to the huge number of neurons in the object recognition
network. By this flawed analysis one could mistakenly identify number-sensing
neurons in any randomly initialized deep neural networks that are not trained
at all. With the above critique we ask the question what if a deep
convolutional neural network is carefully trained for numerosity? Our findings
are mixed. Even after being trained with number-depicting images, the deep
learning approach still has difficulties to acquire the abstract concept of
numbers, a cognitive task that preschoolers perform with ease. But on the other
hand, we do find some encouraging evidences suggesting that deep neural
networks are more robust to distribution shift for small numbers than for large
numbers.
- Abstract(参考訳): 近年,視覚物体認識のためだけに訓練された深層ニューラルネットワークに,数感覚が自発的に現れるという挑発的な主張が公表されている。
これは、もし本当なら、機械学習や認知科学の分野にもはるかに重要な意味を持つ。
本稿では,上記の主張が残念ながら誤りであることを示す。
この主張を支持する統計的分析は、対象認識ネットワークの膨大な数のニューロンと比較して、無数のニューロンを特定するために使用されるサンプルセットが小さすぎることに欠陥がある。
この欠陥分析により、ランダムに初期化されたディープニューラルネットワークにおいて、訓練を受けていない番号感知ニューロンを誤って識別することができる。
上述の批判では、深層畳み込みニューラルネットワークが数奇性のために慎重に訓練されている場合はどうだろうか?
私たちの発見はまちまちだ。
多数の画像で訓練された後も、ディープラーニングのアプローチでは、幼児が容易に行う認知的タスクである数字の抽象的な概念を習得するのは難しい。
しかし一方では、ディープニューラルネットワークが大規模なものよりも少ない数の分散シフトに頑健であることを示す、有望な証拠がいくつか発見されている。
関連論文リスト
- Simple and Effective Transfer Learning for Neuro-Symbolic Integration [54.27778591338189]
この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。
これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。
それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。
本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2024-02-21T15:51:01Z) - Identifying Interpretable Visual Features in Artificial and Biological
Neural Systems [3.604033202771937]
ニューラルネットワークの単一ニューロンはしばしば、個々の直感的に意味のある特徴を表すものとして解釈される。
多くのニューロンは$textitmixed selectivity$、すなわち複数の無関係な特徴を示す。
本稿では、視覚的解釈可能性の定量化と、ネットワークアクティベーション空間における意味のある方向を見つけるためのアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-17T17:41:28Z) - Consistency of Neural Networks with Regularization [0.0]
本稿では,ニューラルネットワークの規則化による一般的な枠組みを提案し,その一貫性を実証する。
双曲関数(Tanh)と整形線形単位(ReLU)の2種類の活性化関数が検討されている。
論文 参考訳(メタデータ) (2022-06-22T23:33:39Z) - Searching for the Essence of Adversarial Perturbations [73.96215665913797]
本稿では,ニューラルネットワークの誤予測の原因となる,人間の認識可能な情報を含む対人摂動について述べる。
この人間の認識可能な情報の概念は、敵の摂動に関連する重要な特徴を説明できる。
論文 参考訳(メタデータ) (2022-05-30T18:04:57Z) - Uncertainty Quantification and Resource-Demanding Computer Vision
Applications of Deep Learning [5.130440339897478]
ディープニューラルネットワーク(DNN)を安全クリティカルなアプリケーションに導入するには、モデルの不確実性を徹底的に扱う必要がある。
本稿では、新しいオブジェクトクラスに遭遇したとき、DNNに不確実性を示す方法について調査する。
また、不確実性定量化の助けを借りて、少数のラベルから学習する訓練方法を提案する。
論文 参考訳(メタデータ) (2022-05-30T08:31:03Z) - Neural Network Quantization for Efficient Inference: A Survey [0.0]
ニューラルネットワークの量子化は、最近、ニューラルネットワークのサイズと複雑さを減らすというこの要求を満たすために発生した。
本稿では,過去10年間に開発された多くのニューラルネットワーク量子化技術について検討する。
論文 参考訳(メタデータ) (2021-12-08T22:49:39Z) - The mathematics of adversarial attacks in AI -- Why deep learning is
unstable despite the existence of stable neural networks [69.33657875725747]
固定アーキテクチャを用いた分類問題に対するニューラルネットワークのトレーニングに基づくトレーニング手順が,不正確あるいは不安定なニューラルネットワーク(正確であれば)を生み出すことを証明している。
鍵となるのは、安定かつ正確なニューラルネットワークは入力に依存する可変次元を持つ必要があり、特に、可変次元は安定性に必要な条件である。
我々の結果は、正確で安定したニューラルネットワークが存在するというパラドックスを示しているが、現代のアルゴリズムはそれらを計算していない。
論文 参考訳(メタデータ) (2021-09-13T16:19:25Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳(メタデータ) (2021-06-07T10:18:54Z) - Mathematical Models of Overparameterized Neural Networks [25.329225766892126]
我々は,2層ニューラルネットワークの解析に焦点をあて,重要な数学的モデルを説明する。
次に、ディープニューラルネットワークと現在の研究方向を理解するための課題について論じる。
論文 参考訳(メタデータ) (2020-12-27T17:48:31Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳(メタデータ) (2020-11-12T06:06:33Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳(メタデータ) (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。