Fugu-MT 論文翻訳(概要): Aspects of human memory and Large Language Models

論文の概要: Aspects of human memory and Large Language Models

arxiv url: http://arxiv.org/abs/2311.03839v3
Date: Mon, 8 Apr 2024 13:47:49 GMT
ステータス: 処理完了
システム内更新日: 2024-04-10 02:25:39.664328
Title: Aspects of human memory and Large Language Models
Title（参考訳）: 人間の記憶の諸相と言語モデル
Authors: Romuald A. Janik,
Abstract要約: 大規模言語モデル(LLM)は、主にテキストを生成するために機能する巨大な人工ニューラルネットワークである。我々は、人間の記憶の重要な特徴と驚くべき類似点を見出した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.
Abstract（参考訳）: 大規模言語モデル(LLM)は、主にテキストを生成するのに役立ちながら、非常に洗練された言語使用確率モデルを提供する巨大な人工ニューラルネットワークである。意味的に一貫したテキストを生成するには、効果的なメモリの形式が必要であるため、LLMのメモリ特性を調べ、人間のメモリの重要な特性と驚くほどの類似性を見出す。大規模言語モデルの人間的なメモリ特性はLLMアーキテクチャから自動的に従うのではなく、むしろトレーニング用テキストデータの統計から学習される。これらの結果は、人間の記憶の生物学的特徴が、私たちの文章的物語を構成する方法のインプリントを残していることを強く示唆している。

関連論文リスト

Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences [51.965994405124455]
人間は異なるシーケンスで抽象パターンを学習し、無関係な詳細をフィルタリングする。多くのシーケンス学習モデルには抽象化能力がないため、メモリの非効率性や転送の低さにつながる。非パラメトリック階層型変数学習モデル(HVM)を導入し、シーケンスからチャンクを学習し、文脈的に類似したチャンクを変数として抽象化する。
論文参考訳（メタデータ） (2024-10-27T18:13:07Z)
Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
論文参考訳（メタデータ） (2024-06-21T12:54:03Z)
Empowering Working Memory for Large Language Model Agents [9.83467478231344]
本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
論文参考訳（メタデータ） (2023-12-22T05:59:00Z)
Quantifying and Analyzing Entity-level Memorization in Large Language Models [4.59914731734176]
大規模言語モデル(LLM)は、トレーニングデータを記憶できることが証明されている。記憶から生じるプライバシーリスクが注目されている。実世界のシナリオに近い条件やメトリクスで記憶を定量化するための,詳細なエンティティレベルの定義を提案する。
論文参考訳（メタデータ） (2023-08-30T03:06:47Z)
RET-LLM: Towards a General Read-Write Memory for Large Language Models [53.288356721954514]
RET-LLMは、大規模な言語モデルに一般的な読み書きメモリユニットを装備する新しいフレームワークである。デビッドソンのセマンティクス理論に触発され、三重項の形で知識を抽出し保存する。本フレームワークは,時間に基づく質問応答タスクの処理において,堅牢な性能を示す。
論文参考訳（メタデータ） (2023-05-23T17:53:38Z)
Extending Memory for Language Modelling [0.0]
無限に長いシーケンスから学習するためにLong Term Memory Network (LTM)を導入する。 LTMは現在の入力に優先順位を与え、高いインパクトを与える。我々はLTMを長期記憶を必要とする他の言語モデルと比較する。
論文参考訳（メタデータ） (2023-05-19T06:30:19Z)
Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文参考訳（メタデータ） (2023-05-16T03:50:38Z)
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文参考訳（メタデータ） (2022-05-22T07:43:50Z)
Relational Memory Augmented Language Models [40.626389607433936]
本稿では,知識グラフ上に自己回帰言語モデルを記述するためのメモリ拡張手法を提案する。提案手法は,文字単位のパープレキシティとビットの点で,より優れた言語モデルを生成する。
論文参考訳（メタデータ） (2022-01-24T13:25:41Z)
Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文参考訳（メタデータ） (2021-06-09T22:59:12Z)
Neural Machine Translation with Monolingual Translation Memory [58.98657907678992]
本稿では,モノリンガルメモリを用いて学習可能なメモリ検索を行う新しいフレームワークを提案する。実験の結果,提案手法は大幅な改善が得られた。
論文参考訳（メタデータ） (2021-05-24T13:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。