論文の概要: Classification and Generation of real-world data with an Associative Memory Model

• arxiv url: http://arxiv.org/abs/2207.04827v4
• Date: Thu, 13 Jul 2023 14:06:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 17:45:34.724274
• Title: Classification and Generation of real-world data with an Associative Memory Model
• Title（参考訳）: 連想記憶モデルを用いた実世界のデータの分類と生成
• Authors: Rodrigo Simas, Luis Sa-Couto, and Andreas Wichert
• Abstract要約: マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Drawing from memory the face of a friend you have not seen in years is a difficult task. However, if you happen to cross paths, you would easily recognize each other. The biological memory is equipped with an impressive compression algorithm that can store the essential, and then infer the details to match perception. The Willshaw Memory is a simple abstract model for cortical computations which implements mechanisms of biological memories. Using our recently proposed sparse coding prescription for visual patterns, this model can store and retrieve an impressive amount of real-world data in a fault-tolerant manner. In this paper, we extend the capabilities of the basic Associative Memory Model by using a Multiple-Modality framework. In this setting, the memory stores several modalities (e.g., visual, or textual) of each pattern simultaneously. After training, the memory can be used to infer missing modalities when just a subset is perceived. Using a simple encoder-memory-decoder architecture, and a newly proposed iterative retrieval algorithm for the Willshaw Model, we perform experiments on the MNIST dataset. By storing both the images and labels as modalities, a single Memory can be used not only to retrieve and complete patterns but also to classify and generate new ones. We further discuss how this model could be used for other learning tasks, thus serving as a biologically-inspired framework for learning.
• Abstract（参考訳）: 記憶から何年にもわたって見たことのない友人の顔を描くのは難しい仕事です。 しかし、もしパスを越えた場合、容易にお互いを認識することができます。 生体記憶には、本質を記憶し、その詳細を推測して知覚と一致させることができる印象的な圧縮アルゴリズムが備わっている。 ウィルショーメモリは、生体記憶のメカニズムを実装する皮質計算のための単純な抽象モデルである。 このモデルでは,最近提案したスパース符号化法を用いて,実世界の膨大なデータをフォールトトレラントな方法で保存し,検索することができる。 本稿では,マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 この設定では、メモリは、各パターンのいくつかのモダリティ(例えば、ビジュアルまたはテキスト)を同時に格納する。 トレーニング後、メモリは、サブセットが認識されたときに欠落したモダリティを推測するために使用できる。 単純なエンコーダメモリデコーダアーキテクチャと、新しく提案されたwillshawモデルの反復検索アルゴリズムを用いて、mnistデータセットについて実験を行った。 イメージとラベルの両方をモダリティとして格納することで、単一のメモリをパターンの検索と完了だけでなく、新しいメモリの分類と生成にも使用できる。 さらに,このモデルが他の学習タスクにどのように使われるのかを議論し,生物学的にインスパイアされた学習フレームワークとして機能する。

関連論文リスト

• Hierarchical Working Memory and a New Magic Number [1.024113475677323]
  本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。 我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-08-14T16:03:47Z)
• Associative Memories in the Feature Space [68.1903319310263]
  本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。 MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
  論文  参考訳（メタデータ） (2024-02-16T16:37:48Z)
• What do larger image classifiers memorise? [64.01325988398838]
  トレーニング例は, モデルサイズにまたがって, 予想外の多彩な記憶軌跡を示す。 有効で一般的なモデル圧縮手法である知識蒸留は,記憶を阻害する傾向があり,一般化も改善する。
  論文  参考訳（メタデータ） (2023-10-09T01:52:07Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Associative Memories via Predictive Coding [37.59398215921529]
  脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、記憶する。 本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しいニューラルモデルを提案する。
  論文  参考訳（メタデータ） (2021-09-16T15:46:26Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Self-Attentive Associative Memory [69.40038844695917]
  我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
  論文  参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。