論文の概要: Language Models Share a Readout Bottleneck in Working Memory

• arxiv url: http://arxiv.org/abs/2610.21176v1
• Date: Thu, 15 Oct 2026 03:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.16108
• Title: Language Models Share a Readout Bottleneck in Working Memory
• Title（参考訳）: 言語モデルがワーキングメモリの読み出しスロットを共有
• Abstract要約: 大規模言語モデルは、N-backタスクで人間のワーキングメモリシグネチャを再現する。 この共有行動シグネチャが共有メカニズムを反映しているかどうかを問う。
• 参考スコア（独自算出の注目度）: 1.5229257192293202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) reproduce a human working-memory signature on the N-back task: performance declines as memory load N increases, and errors concentrate on lures, items that repeat the current stimulus at a neighboring but incorrect serial position. We ask whether this shared behavioral signature reflects a shared mechanism. The literature offers two candidate accounts. On a precision account, softmax attention cannot concentrate its weight on the item N positions back, so adjacent items are retrieved instead. On an interference account, attention selects the correct item, but the content of competing items corrupts the decision. We dissociate these accounts in 15 pretrained LLMs from three families (70 million to 14 billion parameters) and in minimal transformers trained from scratch. In all three families, the attention heads that carry the task attend to the target on most missed matches. Linear probes decode near-perfectly whether a matching letter occurred at the target or at a lure position, even on trials where the model false-alarms to the lure, although its own decisions barely distinguish the two. Sharpening attention yields negligible gains, whereas suppressing the letter identity of non-target items improves sensitivity (d') in nearly all model-by-load conditions. In larger models the task is spread over more heads, and removing interference helps more. In minimal transformers, precision limits a single attention layer, but a second layer removes this constraint. The working-memory limit of LLMs therefore lies in reading items out under interference rather than in locating them, consistent with interference accounts of human working memory.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、N-backタスク上で人間のワーキングメモリシグネチャを再現する: メモリ負荷が増加するにつれてパフォーマンスが低下し、エラーはルアーに集中する。 この共有行動シグネチャが共有メカニズムを反映しているかどうかを問う。 文献には2つの候補が挙げられている。 精度の面では、ソフトマックスアテンションはアイテムNの後方位置に集中できないため、隣のアイテムは代わりに検索される。 干渉アカウントでは、注意が正しい項目を選択するが、競合する項目の内容が判断を損なう。 我々はこれらのアカウントを、3つのファミリー(7000万から140億のパラメータ)から15の事前訓練されたLSMと、スクラッチからトレーニングされた最小限のトランスフォーマーに分解する。 3つのファミリーすべてにおいて、タスクを実行するアテンションヘッドは、ほとんどの欠場した試合でターゲットに出席する。 リニアプローブは、一致した文字がターゲットで発生したか、またはルアー位置で起きたか、たとえモデルがルアーに偽装した裁判でも、ほぼ完璧に復号するが、その決定は両者をほとんど区別しない。 一方、標的でない項目の文字識別を抑えることで、ほぼ全てのモデルバイロード条件における感度(d')が向上する。 より大きなモデルでは、タスクはより多くのヘッドに分散し、干渉を取り除くことがより役立ちます。 最小限の変換器では、精度は単一の注意層を制限するが、第2の層はこの制約を取り除く。 したがって、LLMの作業メモリ制限は、人間の作業メモリの干渉アカウントと整合して、アイテムを位置決めするよりも、干渉下で読み出すことにある。

関連論文リスト

• MIND: Lightweight and Effective Memory Injection Defense for LLM Agents via Intent-Aware Information Bottleneck [18.358560015688447]
  メモリ拡張エージェントは、メモリインジェクション攻撃に対して脆弱である。 本稿では,メモリインジェクション攻撃のための軽量防御フレームワークであるMINDを提案する。
  論文  参考訳（メタデータ） (2026-07-30T12:11:49Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• MemEvoBench: Benchmarking Memory MisEvolution in LLM Agents [78.95081012334116]
  永続メモリを持つ大規模言語モデル(LLM)は、相互作用の継続性とパーソナライゼーションを高めるが、新たな安全性リスクをもたらす。 汚染または偏りのある記憶蓄積は、異常な作用を引き起こす可能性がある。 MemeEvoBenchは、LLMエージェントのメモリ安全性を評価する最初のベンチマークである。
  論文  参考訳（メタデータ） (2026-04-17T07:29:52Z)
• Human-like Working Memory Interference in Large Language Models [13.786393462852395]
  作業記憶は人間の推論と知性の基本である。 1000億のニューロンがあるにもかかわらず、生体系と人工系は共にワーキングメモリに制限がある。 動作中のメモリタスクを完璧に解くために、2層トランスフォーマーをトレーニングすることはできるが、様々な事前訓練されたLCMは動作中のメモリ制限を示し続けている。
  論文  参考訳（メタデータ） (2026-04-01T17:19:46Z)
• From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks [49.57538588967748]
  LLM(Large Language Model)は、複雑なベンチマークでは優れているにもかかわらず、単語中の文字数などの基本的な記号的タスクにおいて失敗を示す。 我々は、LLaMA、Qwen、Gemmaなど、現代のアーキテクチャにまたがる一貫した現象を発見した。 LLMにおけるシンボリック推論失敗は,表現不足やスケール不足によるものではなく,モデル計算グラフ内の構造的干渉によるものであることを示す。
  論文  参考訳（メタデータ） (2026-04-01T11:40:12Z)
• Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
  大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。 既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。 そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
  論文  参考訳（メタデータ） (2025-03-04T05:39:24Z)
• LoFiT: Localized Fine-tuning on LLM Representations [60.99814930367597]
  LoFiT(Localized Fine-Tuning on LLM Representations)というフレームワークを導入する。 LoFiTは、特定のタスクを学習する上で最も重要なアテンションヘッドのサブセットを特定し、それからオフセットベクトルをトレーニングして、選択したヘッドでモデルの隠れ表現に追加する。 真理性や推論タスクにおいて,LoFiTの介入ベクトルは推論時間干渉などの表現介入手法のベクトルよりもLLM適応に有効であることがわかった。
  論文  参考訳（メタデータ） (2024-06-03T17:45:41Z)
• Don't Go To Extremes: Revealing the Excessive Sensitivity and Calibration Limitations of LLMs in Implicit Hate Speech Detection [29.138463029748547]
  本稿では,暗黙のヘイトスピーチを検出し,その応答に自信を表現できる大規模言語モデルを提案する。 1) LLMは, 公平性問題を引き起こす可能性のあるグループやトピックに対して過度な感受性を示し, ヘイトスピーチとして良心的発言を誤分類する。
  論文  参考訳（メタデータ） (2024-02-18T00:04:40Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。