論文の概要: When Context Changes: Understanding Update Failures in LLMs

• arxiv url: http://arxiv.org/abs/2609.38866v1
• Date: Wed, 30 Sep 2026 03:19:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.088622
• Title: When Context Changes: Understanding Update Failures in LLMs
• Title（参考訳）: コンテキスト変更: LLMの更新失敗を理解する
• Abstract要約: モデルが時代遅れの情報をいつ使っているのか、なぜなのかを調査する。 フロンティア推論モデルでさえ、現在の状態の回復に失敗する可能性がある。 オープンソースのモデルでは、モデルが古いモデルに応答したときにも、プローブが更新された値を回復できることが分かりました。
• 参考スコア（独自算出の注目度）: 17.662861646137515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As preferences, goals, and facts change, LLM agents must use the current state while earlier versions remain in context. Yet they can answer with an old value of the same variable, a failure that we call stale binding. To study when models use outdated information and why, we introduce Controlled In-Context Memory (CICM), a benchmark for tracking and using updated information in conversations and agent logs. We observe that even frontier reasoning models can fail to recover the current state. We find that in open-source models probes can still recover the updated value when the model answers with an old one, pointing to a failure to select information that remains available. Component tests in Qwen and Pythia identify a mechanism for this selection failure: attention drift, where attention favors old values over the current one when producing an answer. We study a one-layer transformer to mathematically understand how this phenomenon happens: when attention scores are similar, several old values can together receive more attention than the current value. Guided by this explanation, we redirect attention toward the current value without further training. When the current value is requested directly, adjusting this intervention for each input corrects most old-value errors across various model families while preserving nearly all initially correct answers. Reliable context management therefore requires more than remembering updated information: models must use it to guide their answers.
• Abstract（参考訳）: 好み、目標、事実が変化するにつれて、LLMエージェントは現在の状態を使用しなければならず、以前のバージョンはコンテキストのままである。 しかし、同じ変数の古い値で答えることができます。 古い情報と理由をモデルがいつ使用するかを調べるため、会話やエージェントログの更新情報を追跡するためのベンチマークであるCICM(Control In-Context Memory)を導入する。 我々は、フロンティア推論モデルでさえ、現在の状態の回復に失敗する可能性があることを観察する。 オープンソースのモデルでは、モデルが古いモデルに応答したときに更新された値を回復でき、利用可能な情報を選択するのに失敗したことを指摘しています。 QwenとPythiaのコンポーネントテストでは、この選択失敗のメカニズムが特定されている。 本研究では,この現象を数学的に理解するための一層トランスフォーマーについて検討する。注意点が類似している場合,複数の古い値が同時に現在の値よりも多くの注意を受けることができる。 この説明に導かれ、さらに訓練することなく現在の価値に注意を向ける。 現在の値が直接要求されると、入力ごとにこの介入を調整することで、様々なモデルファミリにまたがるほとんどの古い値エラーが修正される。 したがって、信頼性の高いコンテキスト管理は更新された情報を記憶する以上のものを必要とします。

関連論文リスト

• Can Computation from Earlier Problems Help LLMs Solve New Ones? [44.98683153329889]
  従来の問題からの計算は、同じ領域内であっても、後戻り精度を上昇または低下させることができることを示す。 3つのQwenモデルと4つのベンチマークで、STAIRは変更されていないモデルと履歴を持つモデルに対して、平均的な後戻り精度を最大11.67ポイント改善する。
  論文  参考訳（メタデータ） (2026-09-30T09:43:16Z)
• Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
  各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。 本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
  論文  参考訳（メタデータ） (2026-09-23T03:23:34Z)
• MIRAGE: How Conversation State Shapes Historical Evidence Use in Multimodal Personal Agents [15.173843369238156]
  MIRAGEは個人エージェントの会話状態の変動に使用される歴史的証拠の制御された研究である。 結果のみの正当性から推定されるのではなく, 状態変化下での歴史的証拠の使用を評価すべきである。
  論文  参考訳（メタデータ） (2026-08-25T10:59:10Z)
• Diagnosing Retrieval Bias Under Multiple In-Context Knowledge Updates in Large Language Models [19.498411614667294]
  マルチアップデートシナリオには、検索で競合する複数の歴史的に有効なバージョンが含まれているが、未調査のままである。 我々は、動的知識インスタンス(DKI)評価フレームワークを導入し、更新された値のシーケンスと組み合わせたキューと同じ事実の複数更新をモデル化する。 最新状態の精度が大幅に低下する一方で,更新が増加するにつれて,検索バイアスが増大するのを観察する。
  論文  参考訳（メタデータ） (2026-02-18T11:11:39Z)
• Are Large Reasoning Models Interruptible? [77.53059044071107]
  LRM(Large Reasoning Models)は複雑な推論において優れているが、伝統的に静的な「凍った世界」設定で評価されている。 静的な設定で高い精度を達成できる最先端のLEMでさえ、割り込みやコンテキストの変化に晒された場合、予測不能に失敗する可能性があることを示す。 我々の分析ではさらに、漏れの原因、パニック、自己疑念など、いくつかの新しい障害モードを明らかにしている。
  論文  参考訳（メタデータ） (2025-10-13T17:59:35Z)
• KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
  MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。 textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T04:32:29Z)
• Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents [54.953320616069654]
  Retrieval-augmented Generationは、完全なパラメトリック言語モデルの多くの問題を緩和する。 RAGでは、コンテキストで提供される文書からモデルの知識を更新することができる。 本稿では,そのような知識紛争を現実的に研究するための枠組みを提案する。
  論文  参考訳（メタデータ） (2024-04-24T17:59:36Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Information Leakage from Data Updates in Machine Learning Models [12.337195143722342]
  我々は、最新の情報を組み込んだり、分散シフトを反映するために、機械学習モデルが更新データセット上で再トレーニングされる環境を検討する。 ここでは、敵はデータセットの変更前後で機械学習モデルのスナップショットにアクセスする。 本稿では,元のモデルと更新モデルの予測信頼度の違いに基づく攻撃を提案する。
  論文  参考訳（メタデータ） (2023-09-20T02:55:03Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models [31.43391633383255]
  提案する大規模データセットであるStreamingQAを構築した。 プレトレーニングでは見られない新しい記事を読むことで、四半期毎にモデルを評価します。 我々は,大惨な忘れを回避しつつ,パラメトリックモデルをフルリトレーニングなしで更新可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-23T15:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。