論文の概要: Improve Language Model and Brain Alignment via Associative Memory
- arxiv url: http://arxiv.org/abs/2505.13844v1
- Date: Tue, 20 May 2025 02:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-21 14:49:52.635176
- Title: Improve Language Model and Brain Alignment via Associative Memory
- Title（参考訳）: 連想記憶による言語モデルと脳アライメントの改善
- Authors: Congchi Yin, Yongpeng Zhang, Xuyun Wen, Piji Li,
- Abstract要約: 連想記憶は、人間の認知システムにおける理解のための関連情報の統合に関与する。
本研究では,連想記憶を統合して音声情報を処理しながら,言語モデルと人間の脳との整合性を改善することを目的とする。
- 参考スコア（独自算出の注目度）: 24.566858101771842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Associative memory engages in the integration of relevant information for comprehension in the human cognition system. In this work, we seek to improve alignment between language models and human brain while processing speech information by integrating associative memory. After verifying the alignment between language model and brain by mapping language model activations to brain activity, the original text stimuli expanded with simulated associative memory are regarded as input to computational language models. We find the alignment between language model and brain is improved in brain regions closely related to associative memory processing. We also demonstrate large language models after specific supervised fine-tuning better align with brain response, by building the \textit{Association} dataset containing 1000 samples of stories, with instructions encouraging associative memory as input and associated content as output.
- Abstract（参考訳）: 連想記憶は、人間の認知システムにおける理解のための関連情報の統合に関与する。
本研究では,連想記憶を統合して音声情報を処理しながら,言語モデルと人間の脳との整合性を改善することを目的とする。
言語モデルアクティベーションを脳活動にマッピングすることで、言語モデルと脳のアライメントを検証することにより、擬似連想記憶によって拡張された原文刺激を計算言語モデルへの入力と見なす。
連想記憶処理と密接に関連する脳領域において,言語モデルと脳の整合性が向上していることが判明した。
また,1000のストーリーのサンプルを含む‘textit{Association} データセットを構築し,連想記憶を入力として奨励し,関連コンテンツを出力として表示する。
関連論文リスト
- Brain-Like Language Processing via a Shallow Untrained Multihead Attention Network [16.317199232071232]
大規模言語モデル(LLM)は、人間の言語システムの効果的なモデルであることが示されている。
本研究では、未学習モデルの驚くほどのアライメントを駆動する重要なアーキテクチャコンポーネントについて検討する。
論文 参考訳（メタデータ） (2024-06-21T12:54:03Z) - Language Generation from Brain Recordings [68.97414452707103]
本稿では,大言語モデルと意味脳デコーダの容量を利用した生成言語BCIを提案する。
提案モデルでは,視覚的・聴覚的言語刺激のセマンティック内容に整合したコヒーレントな言語系列を生成することができる。
本研究は,直接言語生成におけるBCIの活用の可能性と可能性を示すものである。
論文 参考訳（メタデータ） (2023-11-16T13:37:21Z) - Speech language models lack important brain-relevant semantics [6.626540321463248]
近年の研究では、テキストベースの言語モデルは、テキスト誘発脳活動と音声誘発脳活動の両方を驚くほど予測している。
このことは、脳内でどのような情報言語モデルが本当に予測されるのかという疑問を引き起こします。
論文 参考訳（メタデータ） (2023-11-08T13:11:48Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2023-05-16T03:50:38Z) - Joint processing of linguistic properties in brains and language models [14.997785690790032]
人間の脳と言語モデルによる言語情報の詳細な処理の対応について検討する。
特定の言語特性の除去は脳のアライメントを著しく低下させる。
これらの知見は、脳と言語モデルとの整合における特定の言語情報の役割の明確な証拠である。
論文 参考訳（メタデータ） (2022-12-15T19:13:42Z) - Training Language Models with Memory Augmentation [28.4608705738799]
本稿では,メモリ拡張による言語モデル学習のための新しいトレーニング手法を提案する。
当社のアプローチでは、バッチ内のサンプルをアクセス可能なメモリとして直接取り込むトレーニング目標を用いています。
従来のメモリ拡張アプローチよりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2022-05-25T11:37:29Z) - LaMemo: Language Modeling with Look-Ahead Memory [50.6248714811912]
右側トークンへの漸進的参加により再帰記憶を向上させるLook-Ahead Memory(LaMemo)を提案する。
LaMemoは、メモリ長に比例した追加のオーバーヘッドで、双方向の注意とセグメントの再発を受け入れる。
広く使われている言語モデリングベンチマークの実験は、異なる種類のメモリを備えたベースラインよりも優れていることを示した。
論文 参考訳（メタデータ） (2022-04-15T06:11:25Z) - Low-Dimensional Structure in the Space of Language Representations is
Reflected in Brain Responses [62.197912623223964]
言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。
この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。
これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
論文 参考訳（メタデータ） (2021-06-09T22:59:12Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。