論文の概要: Self-Attentive Associative Memory

• arxiv url: http://arxiv.org/abs/2002.03519v3
• Date: Thu, 11 Jun 2020 04:56:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:42:15.593104
• Title: Self-Attentive Associative Memory
• Title（参考訳）: 自己認識型連想記憶
• Authors: Hung Le, Truyen Tran and Svetha Venkatesh
• Abstract要約: 我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
• 参考スコア（独自算出の注目度）: 69.40038844695917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heretofore, neural networks with external memory are restricted to single memory with lossy representations of memory interactions. A rich representation of relationships between memory pieces urges a high-order and segregated relational memory. In this paper, we propose to separate the storage of individual experiences (item memory) and their occurring relationships (relational memory). The idea is implemented through a novel Self-attentive Associative Memory (SAM) operator. Found upon outer product, SAM forms a set of associative memories that represent the hypothetical high-order relationships between arbitrary pairs of memory elements, through which a relational memory is constructed from an item memory. The two memories are wired into a single sequential model capable of both memorization and relational reasoning. We achieve competitive results with our proposed two-memory model in a diversity of machine learning tasks, from challenging synthetic problems to practical testbeds such as geometry, graph, reinforcement learning, and question answering.
• Abstract（参考訳）: この場合、外部メモリを持つニューラルネットワークは、メモリインタラクションの損失のある単一のメモリに制限される。 メモリ間の関係の豊かな表現は、高次および分離されたリレーショナルメモリを促進する。 本稿では、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。 このアイデアは、新しい自己注意型連想記憶(SAM)演算子によって実装される。 外部積上に存在するsamは、任意の記憶要素の対間の仮定的な高次関係を表す一連の連想記憶を形成し、そこで関係記憶をアイテム記憶から構築する。 2つの記憶は、記憶と関係推論の両方が可能な単一の逐次モデルに繋がる。 提案した2メモリモデルを用いて,合成問題への挑戦から,幾何学,グラフ,強化学習,質問応答といった実践的なテストベッドに至るまで,機械学習タスクの多様性を実現する。

関連論文リスト

• Lift Yourself Up: Retrieval-augmented Text Generation with Self Memory [72.36736686941671]
  本稿では,検索拡張生成モデルを改善するための新しいフレームワーク,Selfmemを提案する。 Selfmemは、検索拡張ジェネレータを反復的に使用して、無制限のメモリプールを生成し、メモリセレクタを使用して、続く生成ラウンドの1つの出力をメモリとして選択する。 我々は,3つの異なるテキスト生成タスクにおける自己メモの有効性を評価する。
  論文  参考訳（メタデータ） (2023-05-03T21:40:54Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• BayesPCN: A Continually Learnable Predictive Coding Associative Memory [15.090562171434815]
  BayesPCNは、メタ学習なしで連続的なワンショットメモリ書き込みを実行することができる階層型連想メモリである。 実験の結果、ベイズPCNは数百の「タイムステップ」を観測した高次元データをリコールできるが、リコール能力は大幅に低下する。
  論文  参考訳（メタデータ） (2022-05-20T02:28:11Z)
• LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
  右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。 広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-04-15T06:11:25Z)
• Entropic Associative Memory for Manuscript Symbols [0.0]
  マニュアルシンボルは、連想的で分散されているが宣言的でないエントロピーデジタルメモリから保存、認識、検索することができる。 完全情報と不完全情報の両方を用いてオブジェクトを検索するエントロピー連想メモリの動作特性について考察する。
  論文  参考訳（メタデータ） (2022-02-17T02:29:33Z)
• Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
  エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。 我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。 この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
  論文  参考訳（メタデータ） (2021-02-20T18:40:40Z)
• Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
  メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。 人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。 MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
  論文  参考訳（メタデータ） (2020-07-21T07:34:33Z)
• MEMO: A Deep Network for Flexible Combination of Episodic Memories [16.362284088767456]
  MEMOは長い距離で推論できる能力を備えたアーキテクチャである。 まず、外部メモリに格納されたメモリと、これらの事実を外部メモリに格納するアイテムを分離する。 第二に、適応的な検索機構を利用し、応答が生成される前に「メモリホップ」の変動数を許容する。
  論文  参考訳（メタデータ） (2020-01-29T15:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。