Fugu-MT 論文翻訳(概要): Schrodinger's Memory: Large Language Models

論文の概要: Schrodinger's Memory: Large Language Models

arxiv url: http://arxiv.org/abs/2409.10482v1
Date: Mon, 16 Sep 2024 17:18:11 GMT
ステータス: 処理完了
システム内更新日: 2024-09-17 14:48:31.360204
Title: Schrodinger's Memory: Large Language Models
Title（参考訳）: Schrodingerの記憶: 大規模言語モデル
Authors: Wei Wang, Qing Li,
Abstract要約: LLMの記憶機構を説明するためにUAT理論を適用した。我々は、人間の脳とLDMの能力を比較し、その類似点と作業機構の相違点を強調した。
参考スコア（独自算出の注目度）: 9.487731634351787
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Memory is the foundation of LLMs' functionality, yet past research has lacked an in-depth exploration of their memory capabilities and underlying theory. In this paper, we apply UAT theory to explain the memory mechanism of LLMs and propose a new approach for evaluating LLM performance by comparing the memory capacities of different models. Through extensive experiments, we validate our theory and the memory abilities of LLMs. Finally, we compare the capabilities of the human brain and LLMs, highlighting both their similarities and differences in terms of working mechanisms.
Abstract（参考訳）: メモリはLLMの機能の基礎であるが、過去の研究ではそのメモリ能力と基礎となる理論の詳細な調査が欠如している。本稿では, LLMのメモリ機構を説明するためにUAT理論を適用し, 異なるモデルのメモリ容量を比較することで, LLMの性能を評価する新しい手法を提案する。広範囲な実験を通じて, LLMの記憶能力と理論を検証した。最後に、人間の脳とLDMの能力を比較し、その類似点と作業機構の相違点を強調した。

関連論文リスト

Assessing Episodic Memory in LLMs with Sequence Order Recall Tasks [42.22616978679253]
本稿では,認知心理学におけるエピソード記憶研究の課題から順応する逐次リコールタスク(SORT)を紹介する。 SORTはLLMにテキストセグメントの正しい順序を思い出させる必要があり、拡張が容易で追加のアノテーションを必要としない一般的なフレームワークを提供する。 155人の被験者による人間実験から,本書の長期記憶に基づくシーケンス順序を再現できることが示唆された。
論文参考訳（メタデータ） (2024-10-10T17:17:38Z)
$\text{Memory}^3$: Language Modeling with Explicit Memory [22.572376536612015]
我々は、大言語モデル(LLM)に明示的なメモリ、モデルパラメータよりも安いメモリフォーマット、テキスト検索拡張生成(RAG)を装備する。予備的な概念実証として, 2.4B LLM をゼロからトレーニングし, より大きな LLM モデルやRAG モデルよりも優れた性能を実現する。本稿では,知識の外部化を支援するメモリ回路理論を導入し,記憶をトラクタブルにするメモリスペーサー化機構を含む新しい手法を提案する。
論文参考訳（メタデータ） (2024-07-01T11:07:23Z)
MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory [49.96019697955383]
本稿では,構造化および明示的な読み書きメモリモジュールを統合することで,知識能力を向上させる新しい手法であるMemLLMを紹介する。実験の結果,MemLLMは言語モデリング全般,特に言語モデルにおいて,性能と解釈可能性を向上させることが示唆された。私たちは MemLLM を,メモリ拡張による LLM の基盤化と現実化に向けた重要なステップと捉えています。
論文参考訳（メタデータ） (2024-04-17T18:13:16Z)
Empowering Working Memory for Large Language Model Agents [9.83467478231344]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文参考訳（メタデータ） (2023-12-22T05:59:00Z)
Semantic HELM: A Human-Readable Memory for Reinforcement Learning [9.746397419479445]
人間の言語における過去の出来事を表現する新しい記憶機構を提案する。私たちは、部分的に観測可能な環境のセットでメモリメカニズムをトレーニングし、それがメモリコンポーネントを必要とするタスクに優れていることを見つけます。メモリメカニズムは人間が読めるので、エージェントのメモリを覗き見して、重要な情報が保存されているかどうかを確認することができます。
論文参考訳（メタデータ） (2023-06-15T17:47:31Z)
Augmenting Language Models with Long-Term Memory [142.04940250657637]
既存の大規模言語モデル(LLM)では、入力長制限のため、固定サイズの入力しかできない。本稿では,Long-Term Memory (LongMem) を付加した言語モデルを提案する。
論文参考訳（メタデータ） (2023-06-12T15:13:39Z)
MoT: Memory-of-Thought Enables ChatGPT to Self-Improve [73.90376920653507]
我々は,注釈付きデータセットやパラメータ更新を使わずに,大規模言語モデルによる自己改善を実現するためのフレームワークであるMemory-of-Thoughtを提案する。実験結果から,算術的推論,常識推論,事実推論,自然言語推論において,ChatGPTの能力向上に寄与することが示唆された。
論文参考訳（メタデータ） (2023-05-09T05:25:05Z)
LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。 LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文参考訳（メタデータ） (2022-04-15T06:11:25Z)
Kanerva++: extending The Kanerva Machine with differentiable, locally block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文参考訳（メタデータ） (2021-02-20T18:40:40Z)
The act of remembering: a study in partially observable reinforcement learning [24.945756871291348]
強化学習(Reinforcement Learning, RL)エージェントは、通常、アクションを選択するときの最後の観察のみを考慮するメモリレスポリシーを学ぶ。エージェントに外部メモリと追加アクションを提供して、もし何かあれば、メモリに書き込まれるものを制御する。我々の新しいメモリ形態は、よく確立された部分的に観測可能な領域におけるバイナリとLSTMベースのメモリより優れている。
論文参考訳（メタデータ） (2020-10-05T02:56:43Z)
Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文参考訳（メタデータ） (2020-02-10T03:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。