論文の概要: Large-scale study of human memory for meaningful narratives

• arxiv url: http://arxiv.org/abs/2311.04742v3
• Date: Sat, 23 Nov 2024 13:37:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:14:56.220253
• Title: Large-scale study of human memory for meaningful narratives
• Title（参考訳）: 有意義な物語のための人間の記憶の大規模研究
• Authors: Antonios Georgiou, Tankut Can, Mikhail Katkov, Misha Tsodyks,
• Abstract要約: 本研究では,大規模リコールおよび認識メモリ実験のための自然言語モデル(LLM)を用いて,自然主義的物語刺激を設計するパイプラインを開発する。 我々は,多数の参加者とともにオンライン記憶実験を行い,異なるサイズの物語の認識・記憶データを収集した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The statistical study of human memory requires large-scale experiments, involving many stimuli conditions and test subjects. While this approach has proven to be quite fruitful for meaningless material such as random lists of words, naturalistic stimuli, like narratives, have until now resisted such a large-scale study, due to the quantity of manual labor required to design and analyze such experiments. In this work, we develop a pipeline that uses large language models (LLMs) both to design naturalistic narrative stimuli for large-scale recall and recognition memory experiments, as well as to analyze the results. We performed online memory experiments with a large number of participants and collected recognition and recall data for narratives of different sizes. We found that both recall and recognition performance scale linearly with narrative length; however, for longer narratives people tend to summarize the content rather than recalling precise details. To investigate the role of narrative comprehension in memory, we repeated these experiments using scrambled versions of the narratives. Although recall performance declined significantly, recognition remained largely unaffected. Recalls in this condition seem to follow the original narrative order rather than the actual scrambled presentation, pointing to a contextual reconstruction of the story in memory. Finally, using LLM text embeddings, we construct a simple measure for each clause based on semantic similarity to the whole narrative, that shows a strong correlation with recall probability. Overall, our work demonstrates the power of LLMs in accessing new regimes in the study of human memory, as well as suggesting novel psychologically informed benchmarks for LLM performance.
• Abstract（参考訳）: 人間の記憶に関する統計的研究には、多くの刺激条件や被験者を含む大規模な実験が必要である。 このアプローチは、単語のランダムリストのような無意味な素材には非常に有益であることが証明されているが、物語のような自然主義的な刺激は、そのような実験を設計し分析するのに必要な手作業の量のために、これまでこのような大規模な研究に抵抗してきた。 本研究では,大規模リコールおよび認識メモリ実験のための自然主義的物語刺激を設計し,結果を解析するために,大規模言語モデル(LLM)を用いたパイプラインを開発する。 我々は,多数の参加者とともにオンライン記憶実験を行い,異なるサイズの物語の認識・記憶データを収集した。 記憶と認識の両方のパフォーマンスは物語の長さと直線的にスケールしていることがわかったが、長い物語の場合、人々は正確な詳細を思い出すよりもコンテンツを要約する傾向がある。 記憶における物語理解の役割を明らかにするために,物語のスクランブル版を用いて,これらの実験を繰り返した。 リコール性能は大幅に低下したが、認識はほとんど影響を受けなかった。 この状態でのリコールは、実際のスクランブルされたプレゼンテーションではなく、オリジナルの物語の順序に従っているようで、記憶の中の物語の文脈的な再構築を指し示している。 最後に、LLMテキスト埋め込みを用いて、物語全体と意味的類似性に基づいて各節の簡単な尺度を構築し、リコール確率と強い相関関係を示す。 本研究は、人間の記憶研究における新たなレジームへのアクセスにおけるLLMの能力と、LLMのパフォーマンスに関する新たな心理情報ベンチマークを提案するものである。

関連論文リスト

• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
  本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。 このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。 フレームワークの有効性を実証し、この問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T08:25:11Z)
• ROME: Memorization Insights from Text, Logits and Representation [17.458840481902644]
  本稿では、トレーニングデータの直接処理をバイパスするROMEという革新的な手法を提案する。 具体的には、コンテキスト非依存、従来型、事実の3つの異なるタイプに分類されるデータセットを選択します。 そこで本研究では,生成したテキストのロジットと表現を調べることで,記憶されたサンプルと記憶されていないサンプルの相違に着目した。
  論文  参考訳（メタデータ） (2024-03-01T13:15:30Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• How Relevant is Selective Memory Population in Lifelong Language Learning? [15.9310767099639]
  最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。 本研究は,テキスト分類と質問応答タスクの生涯学習過程において,選択記憶人口がどの程度関係があるかを検討する。
  論文  参考訳（メタデータ） (2022-10-03T13:52:54Z)
• Computational Lens on Cognition: Study Of Autobiographical Versus Imagined Stories With Large-Scale Language Models [95.88620740809004]
  GPT-3を用いた自伝的物語と想像的物語における出来事の物語の流れの相違について検討した。 想像された物語は自伝的物語よりも逐次性が高いことがわかった。 想像された物語と比較すると、自伝的な物語は、最初の人物に関連するより具体的な言葉と単語を含んでいる。
  論文  参考訳（メタデータ） (2022-01-07T20:10:47Z)
• Paragraph-level Commonsense Transformers with Recurrent Memory [77.4133779538797]
  物語からコヒーレントなコモンセンス推論を生成するために,段落レベルの情報を含む談話認識モデルを訓練する。 以上の結果から,PARA-COMETは文レベルのベースライン,特にコヒーレントかつ新規な推論に優れていた。
  論文  参考訳（メタデータ） (2020-10-04T05:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。