論文の概要: Sequence-to-Sequence Models with Attention Mechanistically Map to the Architecture of Human Memory Search

• arxiv url: http://arxiv.org/abs/2506.17424v1
• Date: Fri, 20 Jun 2025 18:43:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.40828
• Title: Sequence-to-Sequence Models with Attention Mechanistically Map to the Architecture of Human Memory Search
• Title（参考訳）: 注意機構を持つシーケンス・ツー・シーケンスモデルと人間の記憶探索のアーキテクチャ
• Authors: Nikolaus Salvatore, Qiong Zhang,
• Abstract要約: ニューラルネットワーク翻訳の基本構造は、人間の記憶のコンテキスト保守と検索モデルで指定されたものと直接対応するメカニズムを示す。 我々は、人間の記憶探索の認知モデルとしてニューラルネットワーク翻訳モデルを実装し、解釈可能であり、学習の複雑なダイナミクスを捉えることができる。
• 参考スコア（独自算出の注目度）: 13.961239165301315
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Past work has long recognized the important role of context in guiding how humans search their memory. While context-based memory models can explain many memory phenomena, it remains unclear why humans develop such architectures over possible alternatives in the first place. In this work, we demonstrate that foundational architectures in neural machine translation -- specifically, recurrent neural network (RNN)-based sequence-to-sequence models with attention -- exhibit mechanisms that directly correspond to those specified in the Context Maintenance and Retrieval (CMR) model of human memory. Since neural machine translation models have evolved to optimize task performance, their convergence with human memory models provides a deeper understanding of the functional role of context in human memory, as well as presenting new ways to model human memory. Leveraging this convergence, we implement a neural machine translation model as a cognitive model of human memory search that is both interpretable and capable of capturing complex dynamics of learning. We show that our model accounts for both averaged and optimal human behavioral patterns as effectively as context-based memory models. Further, we demonstrate additional strengths of the proposed model by evaluating how memory search performance emerges from the interaction of different model components.
• Abstract（参考訳）: 過去の研究は、人間がどのように記憶を探索するかを導く上で、コンテキストの重要な役割を長年認識してきた。 コンテキストベースのメモリモデルは、多くのメモリ現象を説明できるが、そもそも人間がそのようなアーキテクチャを他の選択肢よりも発展させる理由は不明である。 本研究では,人間の記憶のコンテキスト保守・検索モデル(CMR)に規定されているものと直接対応するメカニズムを,ニューラルネットワークの基本的なアーキテクチャ,特に,注意を伴うリカレントニューラルネットワーク(RNN)に基づくシーケンス・ツー・シーケンスモデルで示す。 ニューラルマシン翻訳モデルはタスク性能を最適化するために進化してきたため、人間の記憶モデルとの収束は、人間の記憶におけるコンテキストの機能的役割を深く理解すると同時に、人間の記憶をモデル化する新しい方法を提示する。 この収束を利用して、人間の記憶探索の認知モデルとしてニューラルネットワーク翻訳モデルを実装し、解釈可能であり、学習の複雑なダイナミクスを捉えることができる。 本研究では,人間の行動パターンの平均値と最適値の両方を,文脈ベースメモリモデルと同様に効果的に説明できることを示す。 さらに、異なるモデルコンポーネント間の相互作用からメモリ探索性能がどのように出現するかを評価することで、提案モデルのさらなる強みを示す。

関連論文リスト

• If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation? [3.757103053174534]
  本研究では,トランスフォーマー文法(TG)の注意機構が,人間の記憶検索の認知モデルとして機能するかどうかを検討する。 実験により,TGの注意力は,バニラ変圧器と比較して,セルフペースト読影時間において優れた予測力を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-17T05:58:25Z)
• Evolvable Psychology Informed Neural Network for Memory Behavior Modeling [2.5258264040936305]
  本稿では,PsyINNというメモリ挙動モデリングのためのニューラルネットワークの理論を提案する。 ニューラルネットワークとスパース回帰の微分を組み合わせたフレームワークを構築し、共同最適化を実現する。 4つの大規模実世界のメモリ挙動データセットにおいて,提案手法は予測精度において最先端の手法を超越する。
  論文  参考訳（メタデータ） (2024-08-23T01:35:32Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Linking In-context Learning in Transformers to Human Episodic Memory [1.124958340749622]
  我々は,トランスフォーマーに基づく大規模言語モデルにおいて,文脈内学習に寄与する帰納的頭部に焦点を当てた。 本研究では,インダクションヘッドの動作,機能,機械的特性が,ヒトのエピソード記憶の文脈的保守と検索モデルに類似していることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:51:47Z)
• Demolition and Reinforcement of Memories in Spin-Glass-like Neural Networks [0.0]
  この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。 構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。 Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
  論文  参考訳（メタデータ） (2024-03-04T23:12:42Z)
• On the Relationship Between Variational Inference and Auto-Associative Memory [68.8204255655161]
  本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。 得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
  論文  参考訳（メタデータ） (2022-10-14T14:18:47Z)
• Hierarchical Variational Memory for Few-shot Learning Across Domains [120.87679627651153]
  本稿では,プロトタイプの各レベルが階層メモリから対応する情報を取得する階層型プロトタイプモデルを提案する。 このモデルには、ドメインシフトの状況が要求される場合、異なるセマンティックレベルの機能を柔軟に依存する能力が備わっている。 モデルにおける各コンポーネントの有効性を示すために、徹底的なアブレーション研究を行っている。
  論文  参考訳（メタデータ） (2021-12-15T15:01:29Z)
• Towards a Predictive Processing Implementation of the Common Model of Cognition [79.63867412771461]
  本稿では,ニューラル生成符号化とホログラフィック連想記憶に基づく認知モデルの実装について述べる。 提案システムは,多様なタスクから継続的に学習し,大規模に人的パフォーマンスをモデル化するエージェントを開発するための基盤となる。
  論文  参考訳（メタデータ） (2021-05-15T22:55:23Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。