論文の概要: Transformers Remember First, Forget Last: Dual-Process Interference in LLMs

• arxiv url: http://arxiv.org/abs/2603.00270v1
• Date: Fri, 27 Feb 2026 19:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.129898
• Title: Transformers Remember First, Forget Last: Dual-Process Interference in LLMs
• Title（参考訳）: トランスフォーマーは、LLMのデュアルプロセス干渉を初めて忘れる
• Abstract要約: 私たちはこの質問に答えるために、認知心理学から古典的干渉パラダイムを適用します。 すべてのモデルが同じパターンを示し、前向きな干渉が後向きな干渉を支配している。 3つの所見は、RIとPIが別々の記憶機構を反映していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When large language models encounter conflicting information in context, which memories survive -- early or recent? We adapt classical interference paradigms from cognitive psychology to answer this question, testing 39 LLMs across diverse architectures and scales. Every model shows the same pattern: proactive interference (PI) dominates retroactive interference (RI) universally (Cohen's d = 1.73, p < 0.0001), meaning early encodings are protected at the cost of recent information -- the opposite of human memory, where RI typically dominates. Three findings indicate that RI and PI reflect separate memory mechanisms. RI and PI are uncorrelated (R^2 = 0.044), rejecting a unified "memory capacity." Model size predicts RI resistance (R^2 = 0.49) but not PI (R^2 = 0.06, n.s.) -- only RI is capacity-dependent. And error analysis reveals distinct failure modes: RI failures are passive retrieval failures (51%), while PI failures show active primacy intrusion (56%); both show <1% hallucination. These patterns parallel the consolidation-retrieval distinction in cognitive science, suggesting that transformer attention creates a primacy bias with direct implications for interference-heavy applications.
• Abstract（参考訳）: 大きな言語モデルがコンテクストにおける競合する情報に遭遇した場合、その記憶が生き残る -- あるいは最近の? この問いに答えるために、認知心理学から古典的な干渉パラダイムを適用し、多様なアーキテクチャとスケールにわたる39のLSMをテストする。すべてのモデルは、同じパターンを示している。前向きの干渉(PI)が反動的干渉(RI)を普遍的に支配する(Cohen's d = 1.73, p < 0.0001)。つまり、初期のエンコーディングは、最近の情報のコストで保護される。そこでは、RIが典型的に支配する人間の記憶とは逆である。 3つの所見は、RIとPIが別々の記憶機構を反映していることを示している。 RIとPIは非相関である(R^2 = 0.044)。 モデルサイズは RI 抵抗 (R^2 = 0.49) を予測するが PI (R^2 = 0.06, n.s.) ではない。 RI障害は受動的検索障害(51%)であり、PI障害はアクティブプライマリー侵入(56%)である。 これらのパターンは認知科学における統合と検索の区別と平行しており、トランスフォーマーの注意が干渉重畳の応用に直接的な影響を伴って優先バイアスを生み出すことを示唆している。

関連論文リスト

• Not All Relations Are Equal: Relation-Balanced and Calibrated Graph Learning for Provenance-Based Intrusion Detection [66.44527094471619]
  本稿では,関係バランスの取れたグラフ学習を用いた教師なしフレームワークRECALについて述べる。 3つのDARPA E3データセットにおいて、RECALはF1スコアの99.99%、99.93%、99.99%を達成し、各データセットでそれぞれ0.88、0.82、0.42で最高のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-09-15T00:31:01Z)
• PsychoAgent: An Affect-Sensitive Cognitive Architecture for Conflict-Aware Memory in LLM Agents [0.5131152350448099]
  PsychoAgentは、現実記憶と感情記憶を分離するLLMエージェントの認知アーキテクチャである。 影響のある記憶は、まず意味的関連性によってフィルタリングされ、その後、サリエンスによって再ランクされる。 アーキテクチャは、セマンティック・アフェクティブと単一メモリのRAGベースラインよりも、コンフリクトクリティカルな記憶を取り戻した。
  論文  参考訳（メタデータ） (2026-08-07T17:22:29Z)
• From Consumption to Reflection: Designing Human-AI Relations for Stable Reasoning [0.0]
  本稿では、聴覚的推論ループを通してリフレクションを運用する推論時ガバナンスであるリフレクティブ・インテリジェンス(RRI)を紹介する。 機械を人間のように考えさせるか、人間を機械のように推論させるのではなく、RRIは両者の制約を補う構造的な相互作用を作り出す。
  論文  参考訳（メタデータ） (2026-04-17T08:37:16Z)
• When to Forget: A Memory Governance Primitive [0.0]
  Memory Worthはメモリ当たりの2カウンタ信号で、メモリが成功と失敗を共起する頻度を追跡する。 MW は条件付き成功確率 p+(m) = Pr[y_t = +1 | m in M_t] にほぼ確実に収束することを示す。 これは今でもメモリ管理にとって有用な操作信号であり、制御された合成環境で実証的に検証する。
  論文  参考訳（メタデータ） (2026-04-13T19:54:14Z)
• ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
  LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。 IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。 当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
  論文  参考訳（メタデータ） (2026-04-09T10:26:32Z)
• The Oracle's Fingerprint: Correlated AI Forecasting Errors and the Limits of Bias Transmission [0.0]
  GPT-4o, Claude, Gemini は2進予測問題に対して高い相関の予測誤差を示した。 研究2では,この相関バイアスがヒトの群集予測に伝播したかどうかを検証した。 研究3では,人間の予測誤差のカテゴリーレベルのパターンがLLMバイアス指紋に近づきつつあるかを検討した。
  論文  参考訳（メタデータ） (2026-04-07T19:45:40Z)
• Agentic Learner with Grow-and-Refine Multimodal Semantic Memory [50.81667005063605]
  ViLoMemは、コンパクトなスキーマベースのメモリを構築するデュアルストリームメモリフレームワークである。 視覚的障害パターンと論理的推論エラーを符号化し、MLLMが成功し失敗した経験から学ぶことを可能にする。
  論文  参考訳（メタデータ） (2025-11-26T18:55:08Z)
• Scaling Patterns in Adversarial Alignment: Evidence from Multi-LLM Jailbreak Experiments [4.547649832854566]
  大規模言語モデル(LLM)は、マルチエージェントと安全クリティカルな設定でますます運用され、モデルが逆向きに相互作用する際の脆弱性のスケールに関するオープンな疑問が提起される。 本研究は,アライメント保護にもかかわらず有害な拘束行動を引き起こす,より大規模なモデルで,より小さなモデルを体系的に緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-11-16T15:16:33Z)
• The Mirror Loop: Recursive Non-Convergence in Generative Reasoning Systems [0.0]
  外部からのフィードバックのない再帰的な自己評価は、進歩よりもむしろ改革をもたらすことが多い。 3つのモデル(OpenAI GPT-4o-mini, Anthropic Claude 3 Haiku, Google Gemini 2.0 Flash)と4つのタスクファミリー(パラメータ、コード、説明、リフレクション)にまたがる144の推論シーケンスについて検討する。 我々はこれを、生成的推論における自己補正の構造的限界の証拠として解釈する。
  論文  参考訳（メタデータ） (2025-10-23T07:53:26Z)
• Do Retrieval Augmented Language Models Know When They Don't Know? [55.72375712577378]
  ALMはいつ知らないのか知っていますか? 期待とは対照的に, LLM は有意なテキストバッファー-拒否行動を示す。 提案手法は, 学習後モデルに対する簡易かつ効果的な拒絶手法を開発し, 解答品質を向上する。
  論文  参考訳（メタデータ） (2025-09-01T13:44:15Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• Unable to Forget: Proactive Interference Reveals Working Memory Limits in LLMs Beyond Context Length [0.0]
  人間では、そのような干渉に対する感受性は、作業記憶能力と逆の関連がある。 PI-LLMは意味論的に関連するキー-値の更新とクエリを逐次的にストリームする評価手法である。
  論文  参考訳（メタデータ） (2025-06-09T19:49:11Z)
• Are Reasoning Models More Prone to Hallucination? [70.04436965009072]
  最近進化した大推論モデル(LRM)は、長いチェーン・オブ・シークレット(CoT)推論能力を持つ複雑なタスクを解く上で、強力な性能を示している。 推論モデルは幻覚の傾向が強いか? 本稿では3つの観点からその問題に対処する。
  論文  参考訳（メタデータ） (2025-05-29T16:53:41Z)
• HEMA : A Hippocampus-Inspired Extended Memory Architecture for Long-Context AI Conversations [0.0]
  大規模言語モデル(LLM)は、数百回に及ぶ会話におけるコヒーレンスを維持するのに苦労する。 本稿では,人間の認知プロセスにインスパイアされたデュアルメモリシステムであるHEMAを紹介する。 10Kインデックスのチャンクでは、ベクトルメモリはP@5 >= 0.80 と R@50 >= 0.74 を達成し、精度-リコール曲線の下で領域を2倍にする。
  論文  参考訳（メタデータ） (2025-04-23T14:27:12Z)
• Discriminative-Generative Dual Memory Video Anomaly Detection [81.09977516403411]
  近年,ビデオ異常検出(VAD)には,トレーニングプロセス中に通常のデータに代えて,いくつかの異常を使おうと試みている。 本稿では,いくつかの異常を生かしてデータの不均衡を解決するために,識別生成型デュアルメモリ(dream)異常検出モデルを提案する。
  論文  参考訳（メタデータ） (2021-04-29T15:49:01Z)
• Causal Expectation-Maximisation [70.45873402967297]
  ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。 我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。 我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
  論文  参考訳（メタデータ） (2020-11-04T10:25:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。