論文の概要: Using large language models to study human memory for meaningful narratives

• arxiv url: http://arxiv.org/abs/2311.04742v2
• Date: Tue, 28 Nov 2023 05:25:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 13:03:20.440274
• Title: Using large language models to study human memory for meaningful narratives
• Title（参考訳）: 大きな言語モデルを用いた有意義な物語のための人間の記憶の研究
• Authors: Antonios Georgiou, Tankut Can, Mikhail Katkov, Misha Tsodyks
• Abstract要約: 言語モデルは,人間の記憶を有意義な材料として研究するための科学的手段として利用できることを示す。 我々は,多数の参加者とともにオンライン記憶実験を行い,異なる長さの物語の認識・記憶データを収集した。 記憶における物語理解の役割を解明するために,提示された物語のスクランブル版を用いて,これらの実験を繰り返した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One of the most impressive achievements of the AI revolution is the development of large language models that can generate meaningful text and respond to instructions in plain English with no additional training necessary. Here we show that language models can be used as a scientific instrument for studying human memory for meaningful material. We developed a pipeline for designing large scale memory experiments and analyzing the obtained results. We performed online memory experiments with a large number of participants and collected recognition and recall data for narratives of different lengths. We found that both recall and recognition performance scale linearly with narrative length. Furthermore, in order to investigate the role of narrative comprehension in memory, we repeated these experiments using scrambled versions of the presented stories. We found that even though recall performance declined significantly, recognition remained largely unaffected. Interestingly, recalls in this condition seem to follow the original narrative order rather than the scrambled presentation, pointing to a contextual reconstruction of the story in memory.
• Abstract（参考訳）: ai革命の最も印象的な成果の1つは、意味のあるテキストを生成し、追加のトレーニングなしで平易な英語の指示に応答できる大きな言語モデルの開発である。 ここでは,有意義な素材に対する人間の記憶を研究するための科学的手段として,言語モデルが利用できることを示す。 大規模メモリ実験を設計し,結果を解析するパイプラインを開発した。 我々は,多数の参加者とオンライン記憶実験を行い,異なる長さの物語に対する認識と記憶データを収集した。 記憶と認識の両方のパフォーマンスは物語の長さと線形にスケールしていることがわかった。 さらに,記憶におけるナラティブ理解の役割を検討するために,提示したストーリーのスクランブル版を用いて,これらの実験を繰り返した。 その結果,リコール性能は著しく低下したが,認識にはほとんど影響を与えなかった。 興味深いことに、この状況でのリコールは、スクランブルドのプレゼンテーションではなく、オリジナルの物語の順序に従っており、記憶におけるストーリーの文脈的再構成を指している。

関連論文リスト

• A Multi-Perspective Analysis of Memorization in Large Language Models [10.276594755936529]
  大規模言語モデル(LLM)は様々な分野で前例のない性能を示す。 LLMはそれらをトレーニングするのと同じコンテンツを生成することができる。 この研究は、様々な観点から記憶を包括的に議論した。
  論文  参考訳（メタデータ） (2024-05-19T15:00:50Z)
• In-Memory Learning: A Declarative Learning Framework for Large Language Models [56.62616975119192]
  本研究では,人間ラベルデータに頼らずにエージェントが環境に整合できる新しい学習フレームワークを提案する。 このプロセス全体がメモリコンポーネント内で変換され、自然言語で実装される。 フレームワークの有効性を実証し、この問題に対する洞察を提供する。
  論文  参考訳（メタデータ） (2024-03-05T08:25:11Z)
• Aspects of human memory and Large Language Models [0.0]
  大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。 我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
  論文  参考訳（メタデータ） (2023-11-07T09:39:12Z)
• Exploring Memorization in Fine-tuned Language Models [53.52403444655213]
  我々は,タスク間の微調整中に,言語モデルの暗記を探索する最初の包括的分析を行う。 オープンソースと、さまざまなタスクにまたがる独自の微調整LMによる研究は、暗記が様々な微調整タスクの間に強い相違を示すことを示している。 本稿では,この課題の相違をスパース符号化理論を用いて直感的に説明し,暗記と注目スコア分布との強い相関関係を明らかにする。
  論文  参考訳（メタデータ） (2023-10-10T15:41:26Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
  因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。 驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
  論文  参考訳（メタデータ） (2022-05-22T07:43:50Z)
• Computational Lens on Cognition: Study Of Autobiographical Versus Imagined Stories With Large-Scale Language Models [95.88620740809004]
  GPT-3を用いた自伝的物語と想像的物語における出来事の物語の流れの相違について検討した。 想像された物語は自伝的物語よりも逐次性が高いことがわかった。 想像された物語と比較すると、自伝的な物語は、最初の人物に関連するより具体的な言葉と単語を含んでいる。
  論文  参考訳（メタデータ） (2022-01-07T20:10:47Z)
• Counterfactual Memorization in Neural Language Models [91.8747020391287]
  様々なNLPタスクで広く使用されている現代のニューラルネットワークモデルは、トレーニングデータからセンシティブな情報を記憶するリスクがある。 言語モデル記憶の以前の研究におけるオープンな疑問は、「一般的な」記憶の除去方法である。 トレーニング中に特定の文書が省略された場合、モデルの予測がどのように変化するかを特徴付ける反事実記憶の概念を定式化する。
  論文  参考訳（メタデータ） (2021-12-24T04:20:57Z)
• Memory and Knowledge Augmented Language Models for Inferring Salience in Long-Form Stories [21.99104738567138]
  本稿では,Barthes Cardinal Functions 由来の塩分検出の教師なし手法とサプライズ理論について述べる。 外部知識ベースを導入し、メモリ機構を追加することにより、標準トランスフォーマー言語モデルを改善する。 このデータに対する評価は,サリエンス検出モデルが非知識ベースおよびメモリ拡張言語モデル以上の性能を向上させることを示す。
  論文  参考訳（メタデータ） (2021-09-08T16:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。