論文の概要: Rethinking Deep Learning: Non-backpropagation and Non-optimization Machine Learning Approach Using Hebbian Neural Networks

• arxiv url: http://arxiv.org/abs/2411.05861v1
• Date: Thu, 07 Nov 2024 08:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:12:31.962971
• Title: Rethinking Deep Learning: Non-backpropagation and Non-optimization Machine Learning Approach Using Hebbian Neural Networks
• Title（参考訳）: ディープラーニングを再考する - Hebbian Neural Networksを用いた非バックプロパゲーションと非最適化機械学習アプローチ
• Authors: Kei Itoh,
• Abstract要約: NNにヘビアン学習を実装することにより,生体神経系を模倣する機械学習手法を開発した。 標準に基づく認識を用いて、個別に訓練されたNNの特性について検討し、特定のラベルで訓練されたNNが、そのラベルに強く反応することを示す。 このことは、Hebbian学習NNが客観的関数、バックプロパゲーション、最適化プロセスなしで手書き文字を認識できることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Developing strong AI could provide a powerful tool for addressing social and scientific challenges. Neural networks (NNs), inspired by biological systems, have the potential to achieve this. However, weight optimization techniques using error backpropagation are not observed in biological systems, raising doubts about current NNs approaches. In this context, Itoh (2024) solved the MNIST classification problem without using objective functions or backpropagation. However, weight updates were not used, so it does not qualify as machine learning AI. In this study, I develop a machine learning method that mimics biological neural systems by implementing Hebbian learning in NNs without backpropagation and optimization method to solve the MNIST classification problem and analyze its output. Development proceeded in three stages. In the first stage, I applied the Hebbian learning rule to the MNIST character recognition algorithm by Itoh (2024), resulting in lower accuracy than non-Hebbian NNs, highlighting the limitations of conventional training procedures for Hebbian learning. In the second stage, I examined the properties of individually trained NNs using norm-based cognition, showing that NNs trained on a specific label respond powerfully to that label. In the third stage, I created an MNIST character recognition program using vector norm magnitude as the criterion, achieving an accuracy of approximately 75%. This demonstrates that the Hebbian learning NNs can recognize handwritten characters without objective functions, backpropagation, or optimization processes. Based on these results, developing a mechanism based on norm-based cognition as a fundamental unit and then increasing complexity to achieve indirect similarity cognition should help mimic biological neural systems and contribute to realizing strong AI.
• Abstract（参考訳）: 強力なAIを開発することは、社会的および科学的課題に対処するための強力なツールを提供する。 生物学的システムにインスパイアされたニューラルネットワーク(NN)は、これを実現する可能性を秘めている。 しかし、生物学的システムでは、誤差の逆伝播を用いた重み最適化技術は見られず、現在のNNのアプローチに疑問が持たれている。 この文脈では、イトー (2024) は客観的関数やバックプロパゲーションを使わずに MNIST 分類問題を解いた。 しかし、重み更新は使用されなかったため、機械学習AIには適していない。 本研究では,MNIST分類問題を解き,その出力を解析するために,バックプロパゲーションや最適化を伴わずにNNにヘビアン学習を実装することによって,生物学的ニューラルネットワークを模倣する機械学習手法を開発した。 開発は3段階に分けて進められた。 第1段階では,Itoh (2024) による MNIST 文字認識アルゴリズムに Hebbian 学習規則を適用し,非 Hebbian NN よりも精度が低く,Hebbian 学習における従来の訓練手順の限界を強調した。 第2段階では、標準に基づく認識を用いて、個別に訓練されたNNの特性を調べ、特定のラベルで訓練されたNNが、そのラベルに強く反応することを示した。 第3段階では,ベクトルノルム等級を基準としてMNIST文字認識プログラムを作成し,約75%の精度を実現した。 このことは、Hebbian学習NNが客観的関数、バックプロパゲーション、最適化プロセスなしで手書き文字を認識できることを示している。 これらの結果に基づいて、標準に基づく認知を基本単位とし、間接的類似性認知を達成するための複雑さを増大させるメカニズムを開発することは、生物学的ニューラルネットワークを模倣し、強力なAIの実現に寄与する。

関連論文リスト

• Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization [0.0]
  本研究では,構造を模倣するニューラルネットワークとして,情報伝達機能とNNの応用の可能性について論じる。 本研究では,段差関数をアクティベーション関数として使用し,0～15層を隠蔽し,重み更新を行わない完全連結層からなるNNSアーキテクチャを提案する。 ラベル毎のトレーニングデータの平均出力ベクトルとテストデータの出力ベクトルをベクトル類似度に基づいて比較して精度を算出する。
  論文  参考訳（メタデータ） (2024-08-18T09:22:24Z)
• On Newton's Method to Unlearn Neural Networks [44.85793893441989]
  ニューラルネット(NN)に対する近似的未学習アルゴリズムを探索し、同じモデルを再学習したオラクルに返却する。 本稿では, 立方正則化を利用してヘッセン系縮退を効果的に処理するCureNewton法を提案する。 異なるモデルとデータセットをまたいだ実験により、我々の手法は、実践的な未学習環境で最先端のアルゴリズムと競合する未学習性能を達成できることを示した。
  論文  参考訳（メタデータ） (2024-06-20T17:12:20Z)
• Neuro-mimetic Task-free Unsupervised Online Learning with Continual Self-Organizing Maps [56.827895559823126]
  自己組織化マップ(英: Self-organizing map、SOM)は、クラスタリングや次元減少によく用いられるニューラルネットワークモデルである。 低メモリ予算下でのオンライン教師なし学習が可能なSOM(連続SOM)の一般化を提案する。 MNIST, Kuzushiji-MNIST, Fashion-MNISTなどのベンチマークでは, ほぼ2倍の精度が得られた。
  論文  参考訳（メタデータ） (2024-02-19T19:11:22Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• Hebbian Continual Representation Learning [9.54473759331265]
  継続的学習は、より現実的なシナリオに機械学習をもたらすことを目的としています。 生物学的にインスパイアされたヘビアン学習が継続的な課題に対処するのに有用かどうかを検討する。
  論文  参考訳（メタデータ） (2022-06-28T09:21:03Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
  k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。 我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。 本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
  論文  参考訳（メタデータ） (2021-12-15T20:15:01Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Gradient-Free Neural Network Training via Synaptic-Level Reinforcement Learning [0.0]
  学習を実現する特定の脳領域に、一貫性のあるシナプスレベルの学習メカニズムが存在すると広く信じられている。 本稿では,単純なシナプスレベルの学習ポリシーを生成し,適用するための強化学習に基づくアルゴリズムを提案する。 勾配への頑丈さと依存の欠如は、困難で微分の難しいニューラルネットワークを訓練するための新しいテクニックの扉を開く。
  論文  参考訳（メタデータ） (2021-05-29T22:26:18Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。