論文の概要: Human-like Working Memory Interference in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.09670v1
• Date: Wed, 01 Apr 2026 17:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-19 19:09:11.611164
• Title: Human-like Working Memory Interference in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるヒューマンライクなワーキングメモリ干渉
• Authors: Hua-Dong Xiong, Li Ji-An, Jiaqi Huang, Robert C. Wilson, Kwonjoon Lee, Xue-Xin Wei,
• Abstract要約: 作業記憶は人間の推論と知性の基本である。 1000億のニューロンがあるにもかかわらず、生体系と人工系は共にワーキングメモリに制限がある。 動作中のメモリタスクを完璧に解くために、2層トランスフォーマーをトレーニングすることはできるが、様々な事前訓練されたLCMは動作中のメモリ制限を示し続けている。
• 参考スコア（独自算出の注目度）: 13.786393462852395
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Intelligent systems must maintain and manipulate task-relevant information online to adapt to dynamic environments and changing goals. This capacity, known as working memory, is fundamental to human reasoning and intelligence. Despite having on the order of 100 billion neurons, both biological and artificial systems exhibit limitations in working memory. This raises a key question: why do large language models (LLMs) show such limitations, given that transformers have full access to prior context through attention? We find that although a two-layer transformer can be trained to solve working memory tasks perfectly, a diverse set of pretrained LLMs continues to show working memory limitations. Notably, LLMs reproduce interference signatures observed in humans: performance degrades with increasing memory load and is biased by recency and stimulus statistics. Across models, stronger working memory capacity correlates with broader competence on standard benchmarks, mirroring its link to general intelligence in humans. Yet despite substantial variability in working memory performance, LLMs surprisingly converge on a common computational mechanism. Rather than directly copying the relevant memory item from context, models encode multiple memory items in entangled representations, such that successful recall depends on interference control -- actively suppressing task-irrelevant content to isolate the target for readout. Moreover, a targeted intervention that suppresses stimulus content information improves performance, providing causal support for representational interference. Together, these findings identify representational interference as a core constraint on working memory in pretrained LLMs, suggesting that working-memory limits in biological and artificial systems may reflect a shared computational challenge: selecting task-relevant information under interference.
• Abstract（参考訳）: インテリジェントシステムは、動的環境に適応し、目標を変更するために、オンラインのタスク関連情報を保守し、操作する必要がある。 この能力は「ワーキングメモリ」と呼ばれ、人間の推論と知性の基本である。 1000億のニューロンがあるにもかかわらず、生体系と人工系は共にワーキングメモリに制限がある。 なぜ大きな言語モデル(LLM)がそのような制限を示すのか? 動作中のメモリタスクを完璧に解くために、2層トランスフォーマーをトレーニングすることはできるが、様々な事前訓練されたLCMは動作中のメモリ制限を示し続けている。 特に、LLMは人間の観察する干渉シグナルを再現する: 性能は記憶負荷の増加とともに低下し、相対性や刺激の統計に偏っている。 モデル全体では、より強力なワーキングメモリ容量は、標準ベンチマークの幅広い能力と相関し、人間の汎用インテリジェンスとの関係を反映している。 しかし、ワーキングメモリ性能のかなりの変動にもかかわらず、LCMは驚くほど共通の計算機構に収束する。 コンテキストから関連するメモリアイテムを直接コピーするのではなく、モデルが複数のメモリアイテムを絡み合った表現でエンコードする。 さらに、刺激内容情報を抑制する目的の介入により性能が向上し、表現的干渉に対する因果的支援が提供される。 これらの結果から, 生体・人工システムの作業記憶限界は, 干渉下でのタスク関連情報の選択という, 共有された計算課題を反映している可能性が示唆された。

関連論文リスト

• FadeMem: Biologically-Inspired Forgetting for Efficient Agent Memory [4.608947574766633]
  本稿では,人間の認知効率を反映した能動的忘れ機構を組み込んだ,生物学的にインスパイアされたエージェントメモリアーキテクチャであるFadeMemを提案する。 マルチセッションチャット, LoCoMo, LTI-Benchの実験では, ストレージの45%削減により, 優れたマルチホップ推論と検索が可能となった。
  論文  参考訳（メタデータ） (2026-01-26T16:12:54Z)
• The AI Hippocampus: How Far are We From Human Memory? [77.04745635827278]
  インプリシットメモリは、事前訓練されたトランスフォーマーの内部パラメータに埋め込まれた知識を指す。 明示メモリは、動的でクエリ可能な知識表現でモデル出力を増大させるように設計された外部ストレージと検索コンポーネントを含んでいる。 エージェントメモリは、自律エージェント内に永続的、時間的に拡張されたメモリ構造を導入する。
  論文  参考訳（メタデータ） (2026-01-14T03:24:08Z)
• EvolMem: A Cognitive-Driven Benchmark for Multi-Session Dialogue Memory [63.84216832544323]
  EvolMemは、大規模言語モデル(LLM)とエージェントシステムのマルチセッションメモリ機能を評価するための新しいベンチマークである。 このベンチマークを構築するために,話題から始まる生成と物語から着想を得た変換からなるハイブリッドデータ合成フレームワークを提案する。 広範囲な評価により、LLMが全てのメモリ次元で常に他よりも優れていることが分かる。
  論文  参考訳（メタデータ） (2026-01-07T03:14:42Z)
• Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
  大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。 本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-27T12:26:55Z)
• MemOS: A Memory OS for AI System [116.87568350346537]
  大規模言語モデル(LLM)は、人工知能(AGI)にとって不可欠な基盤となっている。 既存のモデルは、主に静的パラメータと短命なコンテキスト状態に依存しており、ユーザの好みを追跡したり、長い期間にわたって知識を更新する能力を制限する。 MemOSはメモリを管理可能なシステムリソースとして扱うメモリオペレーティングシステムである。
  論文  参考訳（メタデータ） (2025-07-04T17:21:46Z)
• Empowering Working Memory for Large Language Model Agents [9.83467478231344]
  本稿では,認知心理学のワーキングメモリフレームワークを大規模言語モデル(LLM)に適用する可能性について検討する。 エピソード間の記憶を維持するために、集中型ワーキングメモリハブとエピソディックバッファアクセスを取り入れた革新的なモデルが提案されている。 このアーキテクチャは、複雑なタスクと協調シナリオの間のニュアンス付きコンテキスト推論に対して、より継続的なものを提供することを目的としている。
  論文  参考訳（メタデータ） (2023-12-22T05:59:00Z)
• Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
  決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。 この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。 ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。