論文の概要: Benchmarking Hebbian learning rules for associative memory

• arxiv url: http://arxiv.org/abs/2401.00335v1
• Date: Sat, 30 Dec 2023 21:49:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 17:55:27.594488
• Title: Benchmarking Hebbian learning rules for associative memory
• Title（参考訳）: 連想記憶のためのヘビー学習規則のベンチマーク
• Authors: Anders Lansner, Naresh B Ravichandran, Pawel Herman
• Abstract要約: 連想記憶は認知と計算の脳科学における重要な概念である。 ストレージ容量とプロトタイプ抽出に関する6つの異なる学習ルールをベンチマークする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Associative memory or content addressable memory is an important component function in computer science and information processing and is a key concept in cognitive and computational brain science. Many different neural network architectures and learning rules have been proposed to model associative memory of the brain while investigating key functions like pattern completion and rivalry, noise reduction, and storage capacity. A less investigated but important function is prototype extraction where the training set comprises pattern instances generated by distorting prototype patterns and the task of the trained network is to recall the correct prototype pattern given a new instance. In this paper we characterize these different aspects of associative memory performance and benchmark six different learning rules on storage capacity and prototype extraction. We consider only models with Hebbian plasticity that operate on sparse distributed representations with unit activities in the interval [0,1]. We evaluate both non-modular and modular network architectures and compare performance when trained and tested on different kinds of sparse random binary pattern sets, including correlated ones. We show that covariance learning has a robust but low storage capacity under these conditions and that the Bayesian Confidence Propagation learning rule (BCPNN) is superior with a good margin in all cases except one, reaching a three times higher composite score than the second best learning rule tested.
• Abstract（参考訳）: 連想メモリ(英: associative memory)またはコンテンツ対応メモリ(英: content addressable memory)は、コンピュータ科学や情報処理において重要な構成要素であり、認知科学や計算脳科学において重要な概念である。 多くの異なるニューラルネットワークアーキテクチャと学習規則が、パターン補完や競合、ノイズ低減、記憶能力といった重要な機能を調査しながら、脳の連想記憶をモデル化するために提案されている。 あまり調査されていないが重要な機能は、トレーニングセットがプロトタイプパターンを歪ませたパターンインスタンスからなるプロトタイプ抽出であり、トレーニングされたネットワークのタスクは、新しいインスタンスが与えられた正しいプロトタイプパターンをリコールすることである。 本稿では,連想記憶性能の異なる側面を特徴付け,記憶容量とプロトタイプ抽出に関する6つの学習ルールをベンチマークする。 ヘビアン可塑性を持つモデルのみを、[0,1]間隔の単位活性を持つ疎分散表現でのみ考える。 非モジュラーネットワークアーキテクチャとモジュラーネットワークアーキテクチャの両方を評価し,異なる種類のスパースなランダムなバイナリパターンセットでトレーニングおよびテストを行う際の性能を比較した。 共分散学習は、これらの条件下では頑健だが記憶能力が低いことを示し、ベイズ信頼伝播学習ルール(BCPNN)は1つを除く全てのケースにおいて優れたマージンを有し、試験された2番目のベストラーニングルールの3倍の合成スコアに達することを示した。

関連論文リスト

• AM-MTEEG: Multi-task EEG classification based on impulsive associative memory [6.240145569484483]
  本研究では,ヒト海馬における学習と記憶の原理に着想を得たマルチタスク分類モデルAM-MTEEGを提案する。 このモデルは個々の脳波を独立したタスクとして扱い、個人間での機能共有を促進する。 2つのBCIコンペティションデータセットによる実験結果から,我々のモデルでは最先端モデルと比較して平均精度が向上していることがわかった。
  論文  参考訳（メタデータ） (2024-09-27T01:33:45Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• Brain-like combination of feedforward and recurrent network components achieves prototype extraction and robust pattern recognition [0.0]
  連想記憶は、大々的に繰り返される新皮質ネットワークによって実行される計算の有力候補である。 我々は,非教師付きヘビアン・ベイズ学習規則を用いて分散表現を学習するフィードフォワードネットワークに,繰り返しアトラクタネットワークを結合する。 本研究では, フィードフォワード駆動型内部(隠れた)表現のトレーニングにおいて, 繰り返しアトラクタコンポーネントが連想メモリを実装していることを示す。
  論文  参考訳（メタデータ） (2022-06-30T06:03:11Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Fine-grained Classification via Categorical Memory Networks [42.413523046712896]
  きめ細かい機能学習のためのクラス固有のメモリモジュールを提示する。 メモリモジュールは、各カテゴリの原型的特徴表現を移動平均として格納する。 クラス固有のメモリモジュールを標準畳み込みニューラルネットワークに統合し、カテゴリメモリネットワークを生成します。
  論文  参考訳（メタデータ） (2020-12-12T11:50:13Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)
• Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation [117.29799759864127]
  3Dポイントクラウドセマンティクスとインスタンスセグメンテーションは、3Dシーン理解にとって不可欠で基本である。 深層ネットワークは、学習過程における非支配的なケースを忘れやすく、不満足なパフォーマンスをもたらす。 本稿では,多様なサンプルを普遍的にカバーする代表プロトタイプを学習し,記憶するメモリ拡張ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-01-06T01:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。