論文の概要: Memory Traces: Are Transformers Tulving Machines?
- arxiv url: http://arxiv.org/abs/2404.08543v1
- Date: Fri, 12 Apr 2024 15:37:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-15 14:37:30.577103
- Title: Memory Traces: Are Transformers Tulving Machines?
- Title（参考訳）: メモリトレース: トランスフォーマーはマシンを学習しているのか?
- Authors: Jean-Marie Chauvet,
- Abstract要約: メモリトレースは1975年にEndel TulvingとMichael J. Watkinsによる先駆的な研究で測定された。
LLMの現在の上位にオリジナルのTulving-Watkinsテストを再考させることは、基礎モデルがこのタイプの心理学モデルを完全にインスタンス化するかどうかを評価するのに役立つかもしれない。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Memory traces--changes in the memory system that result from the perception and encoding of an event--were measured in pioneering studies by Endel Tulving and Michael J. Watkins in 1975. These and further experiments informed the maturation of Tulving's memory model, from the GAPS (General Abstract Processing System} to the SPI (Serial-Parallel Independent) model. Having current top of the line LLMs revisit the original Tulving-Watkins tests may help in assessing whether foundation models completely instantiate or not this class of psychological models.
- Abstract（参考訳）: メモリトレース - 1975年にエンデル・タルヴィングとマイケル・J・ワトキンスによる先駆的な研究で測定されたイベントの認識とエンコーディングから生じるメモリシステムの変化。
これらの実験は、GAPS(General Abstract Processing System)からSPI(Serial-Parallel Independent)モデルまで、Tulvingのメモリモデルの成熟を知らせた。
LLMの現在の上位にオリジナルのTulving-Watkinsテストを再考させることは、基礎モデルがこのタイプの心理学モデルを完全にインスタンス化するかどうかを評価するのに役立つかもしれない。
関連論文リスト
- Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳（メタデータ） (2024-06-06T17:59:09Z) - Memory GAPS: Would LLMs pass the Tulving Test? [0.0]
Tulving Testは、認識およびリコールタスクにおけるメモリパフォーマンスを調査するために設計された。
本稿は,44年以上のフレームワークがLLMの記憶行動に光を当てているかどうかを考察する。
論文 参考訳（メタデータ） (2024-02-26T11:40:51Z) - MEMORYLLM: Towards Self-Updatable Large Language Models [101.3777486749529]
既存のLarge Language Models (LLM) は通常、デプロイ後も静的のままである。
本稿では,変圧器と固定サイズのメモリプールを備えたモデルMEMORYLLMを紹介する。
MEMORYLLMは、テキスト知識を自己更新し、早期に注入された知識を記憶することができる。
論文 参考訳（メタデータ） (2024-02-07T07:14:11Z) - Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。
本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
論文 参考訳（メタデータ） (2023-08-15T17:34:54Z) - Sequential Memory with Temporal Predictive Coding [6.228559238589584]
時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。
我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
論文 参考訳（メタデータ） (2023-05-19T20:03:31Z) - Token Turing Machines [53.22971546637947]
Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。
我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
論文 参考訳（メタデータ） (2022-11-16T18:59:18Z) - Sequence Learning and Consolidation on Loihi using On-chip Plasticity [6.9597705368779925]
我々は,Loihiチップのオンチップ可塑性能力を用いたニューロモルフィックハードウェアの予測学習モデルを開発した。
我々のモデルは、オンライン予測学習モデルは、オンチップの可塑性を持つニューロモルフィックハードウェアにデプロイできるという概念実証の役割を果たしている。
論文 参考訳（メタデータ） (2022-05-02T04:18:50Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - PeTra: A Sparsely Supervised Memory Model for People Tracking [50.98911178059019]
メモリスロット内のエンティティを追跡するように設計されたメモリ拡張ニューラルネットワークであるPeTraを提案する。
我々は、重要なモデリング選択を経験的に比較し、強い性能を維持しながら、メモリモジュールの設計のいくつかの側面を単純化できることを見出した。
PeTraは両方の評価に非常に効果的で、限られたアノテーションで訓練されているにもかかわらず、メモリ内の人々を追跡できる能力を示している。
論文 参考訳（メタデータ） (2020-05-06T17:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。