Fugu-MT 論文翻訳(概要): Aspects of human memory and Large Language Models

論文の概要: Aspects of human memory and Large Language Models

arxiv url: http://arxiv.org/abs/2311.03839v3
Date: Mon, 8 Apr 2024 13:47:49 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 02:25:39.664328
Title: Aspects of human memory and Large Language Models
Title（参考訳）: 人間の記憶の諸相と言語モデル
Authors: Romuald A. Janik,
Abstract要約: 大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.
Abstract（参考訳）: 大規模言語モデル(LLM)は、主にテキストを生成するのに役立ちながら、非常に洗練された言語使用確率モデルを提供する巨大な人工ニューラルネットワークである。意味的に一貫したテキストを生成するには、効果的なメモリの形式が必要であるため、LLMのメモリ特性を調べ、人間のメモリの重要な特性と驚くほどの類似性を見出す。大規模言語モデルの人間的なメモリ特性はLLMアーキテクチャから自動的に従うのではなく、むしろトレーニング用テキストデータの統計から学習される。これらの結果は、人間の記憶の生物学的特徴が、私たちの文章的物語を構成する方法のインプリントを残していることを強く示唆している。

関連論文リスト

Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
論文参考訳（メタデータ） (2024-06-21T12:54:03Z)
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
論文参考訳（メタデータ） (2024-01-24T15:25:01Z)
Empowering Working Memory for Large Language Model Agents [9.83467478231344]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文参考訳（メタデータ） (2023-12-22T05:59:00Z)
Using large language models to study human memory for meaningful narratives [0.0]
言語モデルは,人間の記憶を有意義な材料として研究するための科学的手段として利用できることを示す。我々は,多数の参加者とともにオンライン記憶実験を行い,異なる長さの物語の認識・記憶データを収集した。記憶における物語理解の役割を解明するために,提示された物語のスクランブル版を用いて,これらの実験を繰り返した。
論文参考訳（メタデータ） (2023-11-08T15:11:57Z)
Extending Memory for Language Modelling [0.0]
無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。 LTMは現在の入力に優先順位を与え、高いインパクトを与える。我々はLTMを長期記憶を必要とする他の言語モデルと比較する。
論文参考訳（メタデータ） (2023-05-19T06:30:19Z)
Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文参考訳（メタデータ） (2023-05-16T03:50:38Z)
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文参考訳（メタデータ） (2022-05-22T07:43:50Z)
Relational Memory Augmented Language Models [40.626389607433936]
本稿では,知識グラフ上に自己回帰言語モデルを記述するためのメモリ拡張手法を提案する。提案手法は,文字単位のパープレキシティとビットの点で,より優れた言語モデルを生成する。
論文参考訳（メタデータ） (2022-01-24T13:25:41Z)
Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文参考訳（メタデータ） (2021-06-09T22:59:12Z)
Neural Machine Translation with Monolingual Translation Memory [58.98657907678992]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。実験の結果,提案手法は大幅な改善が得られた。
論文参考訳（メタデータ） (2021-05-24T13:35:19Z)
Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文参考訳（メタデータ） (2020-10-20T15:05:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。