論文の概要: Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

• arxiv url: http://arxiv.org/abs/2603.00270v1
• Date: Fri, 27 Feb 2026 19:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.129898
• Title: Transformers Remember First, Forget Last: Dual-Process Interference in LLMs
• Title（参考訳）: トランスフォーマーは、LLMのデュアルプロセス干渉を初めて忘れる
• Authors: Sourav Chattaraj, Kanak Raj,
• Abstract要約: 私たちはこの質問に答えるために、認知心理学から古典的干渉パラダイムを適用します。 すべてのモデルが同じパターンを示し、前向きな干渉が後向きな干渉を支配している。 3つの所見は、RIとPIが別々の記憶機構を反映していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When large language models encounter conflicting information in context, which memories survive -- early or recent? We adapt classical interference paradigms from cognitive psychology to answer this question, testing 39 LLMs across diverse architectures and scales. Every model shows the same pattern: proactive interference (PI) dominates retroactive interference (RI) universally (Cohen's d = 1.73, p < 0.0001), meaning early encodings are protected at the cost of recent information -- the opposite of human memory, where RI typically dominates. Three findings indicate that RI and PI reflect separate memory mechanisms. RI and PI are uncorrelated (R^2 = 0.044), rejecting a unified "memory capacity." Model size predicts RI resistance (R^2 = 0.49) but not PI (R^2 = 0.06, n.s.) -- only RI is capacity-dependent. And error analysis reveals distinct failure modes: RI failures are passive retrieval failures (51%), while PI failures show active primacy intrusion (56%); both show <1% hallucination. These patterns parallel the consolidation-retrieval distinction in cognitive science, suggesting that transformer attention creates a primacy bias with direct implications for interference-heavy applications.
• Abstract（参考訳）: 大きな言語モデルがコンテクストにおける競合する情報に遭遇した場合、その記憶が生き残る -- あるいは最近の? この問いに答えるために、認知心理学から古典的な干渉パラダイムを適用し、多様なアーキテクチャとスケールにわたる39のLSMをテストする。すべてのモデルは、同じパターンを示している。前向きの干渉(PI)が反動的干渉(RI)を普遍的に支配する(Cohen's d = 1.73, p < 0.0001)。つまり、初期のエンコーディングは、最近の情報のコストで保護される。そこでは、RIが典型的に支配する人間の記憶とは逆である。 3つの所見は、RIとPIが別々の記憶機構を反映していることを示している。 RIとPIは非相関である(R^2 = 0.044)。 モデルサイズは RI 抵抗 (R^2 = 0.49) を予測するが PI (R^2 = 0.06, n.s.) ではない。 RI障害は受動的検索障害(51%)であり、PI障害はアクティブプライマリー侵入(56%)である。 これらのパターンは認知科学における統合と検索の区別と平行しており、トランスフォーマーの注意が干渉重畳の応用に直接的な影響を伴って優先バイアスを生み出すことを示唆している。

関連論文リスト

• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
  大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。 本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-16T15:16:33Z)
• The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
  外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。 3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。 我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
  論文  参考訳（メタデータ） (2025-10-23T07:53:26Z)
• Do Retrieval Augmented Language Models Know When They Don't Know? [55.72375712577378]
  ALMはいつ知らないのか知っていますか? 期待とは対照的に, LLM は有意なテキストバッファー-拒否行動を示す。 提案手法は, 学習後モデルに対する簡易かつ効果的な拒絶手法を開発し, 解答品質を向上する。
  論文  参考訳（メタデータ） (2025-09-01T13:44:15Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• Unable to Forget: Proactive Interference Reveals Working Memory Limits in LLMs Beyond Context Length [0.0]
  人間では、そのような干渉に対する感受性は、作業記憶能力と逆の関連がある。 PI-LLMは意味論的に関連するキー-値の更新とクエリを逐次的にストリームする評価手法である。
  論文  参考訳（メタデータ） (2025-06-09T19:49:11Z)
• Are Reasoning Models More Prone to Hallucination? [70.04436965009072]
  最近進化した大推論モデル(LRM)は、長いチェーン・オブ・シークレット(CoT)推論能力を持つ複雑なタスクを解く上で、強力な性能を示している。 推論モデルは幻覚の傾向が強いか? 本稿では3つの観点からその問題に対処する。
  論文  参考訳（メタデータ） (2025-05-29T16:53:41Z)
• HEMA : A Hippocampus-Inspired Extended Memory Architecture for Long-Context AI Conversations [0.0]
  大規模言語モデル(LLM)は、数百回に及ぶ会話におけるコヒーレンスを維持するのに苦労する。 本稿では,人間の認知プロセスにインスパイアされたデュアルメモリシステムであるHEMAを紹介する。 10Kインデックスのチャンクでは、ベクトルメモリはP@5 >= 0.80 と R@50 >= 0.74 を達成し、精度-リコール曲線の下で領域を2倍にする。
  論文  参考訳（メタデータ） (2025-04-23T14:27:12Z)
• Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
  近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。 本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T15:49:01Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。