論文の概要: MEMO: A Deep Network for Flexible Combination of Episodic Memories
- arxiv url: http://arxiv.org/abs/2001.10913v1
- Date: Wed, 29 Jan 2020 15:56:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 20:45:30.857072
- Title: MEMO: A Deep Network for Flexible Combination of Episodic Memories
- Title（参考訳）: MEMO: エピソード記憶の柔軟な組み合わせのためのディープネットワーク
- Authors: Andrea Banino, Adri\`a Puigdom\`enech Badia, Raphael K\"oster, Martin
J. Chadwick, Vinicius Zambaldi, Demis Hassabis, Caswell Barry, Matthew
Botvinick, Dharshan Kumaran, Charles Blundell
- Abstract要約: MEMOは長い距離で推論できる能力を備えたアーキテクチャである。
まず、外部メモリに格納されたメモリと、これらの事実を外部メモリに格納するアイテムを分離する。
第二に、適応的な検索機構を利用し、応答が生成される前に「メモリホップ」の変動数を許容する。
- 参考スコア（独自算出の注目度）: 16.362284088767456
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent research developing neural network architectures with external memory
have often used the benchmark bAbI question and answering dataset which
provides a challenging number of tasks requiring reasoning. Here we employed a
classic associative inference task from the memory-based reasoning neuroscience
literature in order to more carefully probe the reasoning capacity of existing
memory-augmented architectures. This task is thought to capture the essence of
reasoning -- the appreciation of distant relationships among elements
distributed across multiple facts or memories. Surprisingly, we found that
current architectures struggle to reason over long distance associations.
Similar results were obtained on a more complex task involving finding the
shortest path between nodes in a path. We therefore developed MEMO, an
architecture endowed with the capacity to reason over longer distances. This
was accomplished with the addition of two novel components. First, it
introduces a separation between memories (facts) stored in external memory and
the items that comprise these facts in external memory. Second, it makes use of
an adaptive retrieval mechanism, allowing a variable number of "memory hops"
before the answer is produced. MEMO is capable of solving our novel reasoning
tasks, as well as match state of the art results in bAbI.
- Abstract（参考訳）: 外部メモリを用いたニューラルネットワークアーキテクチャを開発する最近の研究では、ベンチマーク babi question and answering dataset が頻繁に使用されている。
そこで我々は,メモリベース推論神経科学文献の古典的な連想推論タスクを用いて,既存のメモリ型推論アーキテクチャの推論能力をより慎重に検証した。
このタスクは、複数の事実や記憶にまたがる要素間の遠い関係の理解という推論の本質を捉えていると考えられている。
驚いたことに、現在のアーキテクチャは長距離の関連性に苦慮している。
同様の結果は、パス内のノード間の最短経路を見つけるという、より複雑なタスクでも得られた。
そこで我々は,長距離の推論能力を備えたアーキテクチャであるMEMOを開発した。
これは2つの新しいコンポーネントの追加によって達成された。
まず、外部メモリに格納されたメモリ(ファクト)と、これらの事実を構成するアイテムを外部メモリに分離する。
第二に、適応的な検索機構を利用し、応答が生成される前に「メモリホップ」の変動数を許容する。
MEMOは、新しい推論タスクを解くだけでなく、bAbIにおけるアート結果の一致も可能にしています。
関連論文リスト
- LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory [68.97819665784442]
本稿では,チャットアシスタントの5つのコアメモリ能力を評価するためのベンチマークであるLongMemEvalを紹介する。
LongMemEvalは、既存の長期記憶システムにとって重要な課題である。
長期記憶設計を4つの設計選択に分割する統合フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-14T17:59:44Z) - Hierarchical Working Memory and a New Magic Number [1.024113475677323]
本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。
我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
論文 参考訳（メタデータ） (2024-08-14T16:03:47Z) - B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。
B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
論文 参考訳（メタデータ） (2024-07-08T18:41:01Z) - Empowering Working Memory for Large Language Model Agents [9.83467478231344]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。
エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。
このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文 参考訳（メタデータ） (2023-12-22T05:59:00Z) - Think-in-Memory: Recalling and Post-thinking Enable LLMs with Long-Term
Memory [24.464945401037056]
歴史的思考を記憶するための進化した記憶を大規模言語モデルで維持できるTiM(Think-in-Memory)を提案する。
我々は,多種多様な話題をカバーする実世界および模擬対話の質的,定量的な実験を行う。
論文 参考訳（メタデータ） (2023-11-15T06:08:35Z) - A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳（メタデータ） (2023-10-01T08:12:55Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳（メタデータ） (2022-01-03T02:32:06Z) - Learning to Rehearse in Long Sequence Memorization [107.14601197043308]
既存の推論タスクは、しばしば、推論中に入力内容が常にアクセス可能であるという重要な仮定を持つ。
メモリ拡張ニューラルネットワークは、人間のような書き込み読み取りメモリを導入し、1回のパスで長い入力シーケンスを圧縮し記憶する。
しかし、2つの重大な欠点がある: 1) メモリを現在の情報から継続的に更新し、必然的に初期の内容を忘れる; 2) 重要な情報を区別せず、全てのコンテンツを平等に扱う。
本稿では,履歴サンプリング装置を用いた自己教師型リハーサルによる長期記憶向上のためのリハーサルメモリを提案する。
論文 参考訳（メタデータ） (2021-06-02T11:58:30Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。