論文の概要: Simulating Human Memory with Language Models
- arxiv url: http://arxiv.org/abs/2605.25680v1
- Date: Mon, 25 May 2026 10:39:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-26 19:50:19.738928
- Title: Simulating Human Memory with Language Models
- Title(参考訳): 言語モデルによる人間の記憶のシミュレーション
- Authors: Qihan Wang, Nicholas Tomlin, Michael Hu, Brian Dillon, Tal Linzen,
- Abstract要約: アウト・オブ・ボックス言語モデルは、人間の振る舞いを模倣するよう促されたとしても、人間よりも優れた記憶力を示す。
次に、より良いプロンプト戦略とコンパクト化の使用により、言語モデルがより人間的な方法でコンテンツを忘れることが示される。
- 参考スコア(独自算出の注目度): 15.781024764769024
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are increasingly being deployed as user simulators, but their memory is far more reliable than that of real users. To measure this gap, we run a series of classic memory experiments from psychology on both humans and language models. Across tasks, we find that out-of-the-box language models exhibit better memory than humans, even when prompted to imitate human behavior. We then show that better prompting strategies and the use of a compactor can cause language models to forget content in a more human-like way. Using these methods, we show preliminary evidence that language models with human-like memory constraints can function as more effective user simulators in a downstream education task. Finally, we release human reference data and benchmarks to support future work on simulating human memory with language models.
- Abstract(参考訳): 言語モデルはますますユーザシミュレータとしてデプロイされているが、実際のユーザよりもはるかに信頼性が高い。
このギャップを計測するために、人間と言語モデルの両方で心理学から古典的な記憶実験を行った。
タスク全体にわたって、人間の振る舞いを模倣するよう促されたとしても、アウト・オブ・ボックス言語モデルは人間よりも優れた記憶力を示す。
次に、より良いプロンプト戦略とコンパクト化の使用により、言語モデルがより人間的な方法でコンテンツを忘れることが示される。
これらの手法を用いて、ダウンストリーム教育タスクにおいて、人間のようなメモリ制約を持つ言語モデルがより効果的なユーザシミュレータとして機能することを示す。
最後に、人間のメモリを言語モデルでシミュレートする将来の作業をサポートするために、人間の参照データとベンチマークをリリースする。
関連論文リスト
- Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models [0.0]
本稿では,トランスフォーマー言語モデルを用いた実験において,言語学習におけるフラッキングメモリの利点について検討する。
フラッキングメモリは、言語学習を継続的に改善するが、意外なことに、人間の読解時間の前提に基づく予測を損なう。
論文 参考訳(メタデータ) (2025-08-07T19:17:53Z) - Aspects of human memory and Large Language Models [0.0]
大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。
我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
論文 参考訳(メタデータ) (2023-11-07T09:39:12Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳(メタデータ) (2023-05-16T03:50:38Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - Using Large Language Models to Simulate Multiple Humans and Replicate
Human Subject Studies [7.696359453385686]
チューリング実験(TE)と呼ばれる新しいタイプの試験を導入する。
TEは、言語モデルの特定の人間の振る舞いのシミュレーションにおいて一貫した歪みを明らかにすることができる。
我々は、異なる言語モデルが、古典的な経済、精神言語、社会心理学実験をいかにうまく再現できるかを比較した。
論文 参考訳(メタデータ) (2022-08-18T17:54:49Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳(メタデータ) (2022-05-25T11:37:29Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳(メタデータ) (2022-04-15T06:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。