論文の概要: Can a Hebbian-like learning rule be avoiding the curse of dimensionality
in sparse distributed data?
- arxiv url: http://arxiv.org/abs/2208.12564v1
- Date: Wed, 20 Jul 2022 17:08:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-04 07:51:31.198067
- Title: Can a Hebbian-like learning rule be avoiding the curse of dimensionality
in sparse distributed data?
- Title（参考訳）: ヘビー的学習規則は分散分散データにおける次元の呪いを避けることができるか?
- Authors: Maria Os\'orio, Lu\'is Sa-Couto, Andreas Wichert
- Abstract要約: 脳は、分散表現をスパースするために何かに似たものを使っていると仮定される。
Deep Networksはこの問題を、多くのレイヤと非ヘビーンのバックプロパゲーションアルゴリズムで解決しているようだ。
しかし脳は、少数の層でこの問題を解決できるようだ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: It is generally assumed that the brain uses something akin to sparse
distributed representations. These representations, however, are
high-dimensional and consequently they affect classification performance of
traditional Machine Learning models due to "the curse of dimensionality". In
tasks for which there is a vast amount of labeled data, Deep Networks seem to
solve this issue with many layers and a non-Hebbian backpropagation algorithm.
The brain, however, seems to be able to solve the problem with few layers. In
this work, we hypothesize that this happens by using Hebbian learning.
Actually, the Hebbian-like learning rule of Restricted Boltzmann Machines
learns the input patterns asymmetrically. It exclusively learns the correlation
between non-zero values and ignores the zeros, which represent the vast
majority of the input dimensionality. By ignoring the zeros "the curse of
dimensionality" problem can be avoided. To test our hypothesis, we generated
several sparse datasets and compared the performance of a Restricted Boltzmann
Machine classifier with some Backprop-trained networks. The experiments using
these codes confirm our initial intuition as the Restricted Boltzmann Machine
shows a good generalization performance, while the Neural Networks trained with
the backpropagation algorithm overfit the training data.
- Abstract（参考訳）: 一般に、脳は分散表現をスパースするのに似たものを使っていると仮定される。
しかし、これらの表現は高次元であり、「次元の呪い」による従来の機械学習モデルの分類性能に影響する。
大量のラベル付きデータがあるタスクでは、Deep Networksは多くのレイヤと非ヘビーンのバックプロパゲーションアルゴリズムでこの問題を解決しているようだ。
しかし脳は、少数の層でこの問題を解決することができるようだ。
本研究では,ヘビアン学習を用いてこれを仮定する。
実際、制限ボルツマンマシンのヘビアン様学習規則は入力パターンを非対称に学習する。
ゼロでない値の間の相関を学習し、入力次元の大部分を表す零点を無視する。
ゼロを無視することで「次元の呪い」の問題を回避できる。
仮説を検証するために、いくつかのスパースデータセットを生成し、制限ボルツマンマシン分類器の性能をバックプロップ学習ネットワークと比較した。
これらの符号を用いた実験では、制約付きボルツマンマシンが優れた一般化性能を示す一方で、バックプロパゲーションアルゴリズムでトレーニングされたニューラルネットワークはトレーニングデータを過度に最適化する。
関連論文リスト
- No Free Prune: Information-Theoretic Barriers to Pruning at Initialization [8.125999058340998]
arXiv:2105.12806のロバスト性法則を,通常のパラメータカウントを$p_texteff$に置き換えたスパースネットワークに拡張する。
ニューラルネットワークの実験では、トレーニング中に得られた情報がモデル能力に影響を与える可能性があることが確認されている。
論文 参考訳（メタデータ） (2024-02-02T01:13:16Z) - Online Learning for the Random Feature Model in the Student-Teacher
Framework [0.0]
学生-教師の枠組みの文脈における過度なパラメトリゼーションについて検討する。
隠蔽層の大きさと入力次元の有限比に対して、学生は完全に一般化することはできない。
学生の隠蔽層の大きさが入力次元よりも指数関数的に大きい場合のみ、完全な一般化へのアプローチが可能である。
論文 参考訳（メタデータ） (2023-03-24T15:49:02Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳（メタデータ） (2022-06-24T14:26:33Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Random feature neural networks learn Black-Scholes type PDEs without
curse of dimensionality [3.42658286826597]
非退化ブラック・ショールズ型モデルを十分に学習するためのランダムニューラルネットワークの予測誤差のバウンダリを導出する。
その結果、ニューラルネットワークは次元の呪いを伴わずに、ブラックスコール型PDEのテキスト学習ソリューションを実現できることが証明された。
論文 参考訳（メタデータ） (2021-06-14T10:03:36Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。
その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
論文 参考訳（メタデータ） (2021-05-11T08:15:25Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳（メタデータ） (2020-10-10T14:04:44Z) - Neural Random Projection: From the Initial Task To the Input Similarity
Problem [0.0]
ニューラルネットワークを用いた入力データの類似性を評価するために,暗黙データ表現のための新しい手法を提案する。
提案手法は初期タスクを明示的に考慮し,ベクトル表現のサイズを大幅に削減する。
実験の結果,提案手法は入力類似性タスクにおける競合的な結果が得られることがわかった。
論文 参考訳（メタデータ） (2020-10-09T13:20:24Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。