論文の概要: Unable to Forget: Proactive lnterference Reveals Working Memory Limits in LLMs Beyond Context Length

• arxiv url: http://arxiv.org/abs/2506.08184v2
• Date: Wed, 11 Jun 2025 09:53:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 23:41:16.735961
• Title: Unable to Forget: Proactive lnterference Reveals Working Memory Limits in LLMs Beyond Context Length
• Title（参考訳）: 忘れられない: プロアクティブなlnterferenceがLLMの動作メモリ制限をコンテキスト長を超えて明らかに
• Authors: Chupei Wang, Jiaqiu Vince Sun,
• Abstract要約: 人間では、そのような干渉に対する感受性は、作業記憶能力と逆の関連がある。 PI-LLMは意味論的に関連するキー-値の更新とクエリを逐次的にストリームする評価手法である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Information retrieval in Large Language Models (LLMs) is increasingly recognized as intertwined with generation capabilities rather than mere lookup. While longer contexts are often assumed to improve retrieval, the effects of intra-context interference remain understudied. To address this, we adapt the proactive interference (PI) paradigm from cognitive science, where earlier information disrupts recall of newer updates. In humans, susceptibility to such interference is inversely linked to working memory capacity. We introduce PI-LLM, an evaluation that sequentially streams semantically related key-value updates and queries only the final values. Although these final values are clearly positioned just before the query, LLM retrieval accuracy declines log-linearly toward zero as interference accumulates; errors arise from retrieving previously overwritten values. Attempts to mitigate interference via prompt engineering (e.g., instructing models to ignore earlier input) yield limited success. These findings reveal a fundamental constraint on LLMs' ability to disentangle interference and flexibly manipulate information, suggesting a working memory bottleneck beyond mere context access. This calls for approaches that strengthen models' ability to suppress irrelevant content during retrieval.
• Abstract（参考訳）: 大規模言語モデル (LLM) における情報検索は, 単なるルックアップではなく, 生成能力に絡み合うものとして認識されつつある。 長いコンテキストは検索を改善すると仮定されることが多いが、文脈内干渉の影響はいまだ検討されていない。 これを解決するために、私たちは認知科学からプロアクティブ干渉(PI)パラダイムを適用し、より新しい更新のリコールを妨害する。 人間では、そのような干渉に対する感受性は、作業記憶能力と逆の関連がある。 PI-LLMは意味論的に関連するキー-値の更新とクエリを逐次的にストリームする評価手法である。 これらの最終値はクエリの直前に明らかに位置決めされているが、LLMの検索精度は干渉が蓄積するにつれてゼロへと対数的に低下する。 プロンプトエンジニアリング(例えば、初期の入力を無視するようにモデルに指示する)による干渉を軽減する試みは、限られた成功をもたらす。 これらの結果から,LLMが干渉を解消し,情報を柔軟に操作する能力に根本的な制約があることが示唆された。 これにより、検索中に無関係なコンテンツを抑圧するモデルの能力を強化するアプローチが求められている。

関連論文リスト

• Invoke Interfaces Only When Needed: Adaptive Invocation for Large Language Models in Question Answering [5.100085108873068]
  本研究では,AttenHScoreと呼ばれる実用的な呼び出し評価指標を提案する。 小さなLMの生成過程における幻覚の蓄積と伝播を計算する。 検出しきい値を動的に調整することにより、大きなLMのより正確なリアルタイム実行を実現する。
  論文  参考訳（メタデータ） (2025-05-05T01:45:56Z)
• END: Early Noise Dropping for Efficient and Effective Context Denoising [60.24648712022382]
  大規模言語モデル(LLM)は、幅広い自然言語処理タスクにおいて顕著な性能を示している。 彼らはしばしば、出力品質を低下させる入力シーケンスにおける無関係またはノイズの文脈に気を散らされる。 我々は,LLMの微調整を必要とせず,この問題を緩和するための新しい手法であるEarly Noise Dropping (textscEND)を紹介した。
  論文  参考訳（メタデータ） (2025-02-26T08:07:17Z)
• Systematic Knowledge Injection into Large Language Models via Diverse Augmentation for Domain-Specific RAG [24.660769275714685]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) にドメイン知識を組み込む重要な手法として登場した。 本稿では,学習データを2つの方法で強化することで,微調整プロセスを大幅に強化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:39:51Z)
• It's Never Too Late: Fusing Acoustic Information into Large Language Models for Automatic Speech Recognition [70.77292069313154]
  大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。 本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
  論文  参考訳（メタデータ） (2024-02-08T07:21:45Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Primal Dual Continual Learning: Balancing Stability and Plasticity through Adaptive Memory Allocation [86.8475564814154]
  制約付き最適化問題を直接実行することは可能かつ有益であることを示す。 メモリベースのメソッドでは、以前のタスクからのサンプルの小さなサブセットをリプレイバッファに格納できる。 両変数は,制約摂動に対する連続学習問題の最適値の感度を示す。
  論文  参考訳（メタデータ） (2023-09-29T21:23:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。