論文の概要: RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World

• arxiv url: http://arxiv.org/abs/2604.05096v1
• Date: Mon, 06 Apr 2026 18:50:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.448852
• Title: RAG or Learning? Understanding the Limits of LLM Adaptation under Continuous Knowledge Drift in the Real World
• Title（参考訳）: RAGか学習か? 実世界における連続的知識ドリフト下におけるLLM適応の限界を理解する
• Authors: Hanbing Liu, Lang Cao, Yang Li,
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練中に知識のほとんどを取得する。 事実、実体、イベントが時間とともに変化するにつれて、モデルは継続的な知識の漂流を経験する。 実世界の動的事象の時間スタンプから構築した新しいベンチマークを導入する。
• 参考スコア（独自算出の注目度）: 7.435603768894471
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) acquire most of their knowledge during pretraining, which ties them to a fixed snapshot of the world and makes adaptation to continuously evolving knowledge challenging. As facts, entities, and events change over time, models may experience continuous knowledge drift, resulting not only in outdated predictions but also in temporally inconsistent reasoning. Although existing approaches, such as continual finetuning, knowledge editing, and retrieval-augmented generation (RAG), aim to update or supplement model knowledge, they are rarely evaluated in settings that reflect chronological, evolving, and real-world knowledge evolution. In this work, we introduce a new benchmark of real-world dynamic events, constructed from time-stamped evidence that captures how knowledge evolves over time, which enables systematic evaluation of model adaptation under continuous knowledge drift. The benchmark reveals that most existing methods, including vanilla RAG and several learning-based approaches, struggle under this setting, exposing critical limitations such as catastrophic forgetting and temporal inconsistency. To mitigate these limitations, we propose a time-aware retrieval baseline, Chronos, which progressively organizes retrieved evidence into an Event Evolution Graph to enable more temporally consistent understanding in LLMs without additional training. Overall, this work provides a foundation for analyzing and advancing LLM adaptation to continuous knowledge drift in realistic settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中に知識のほとんどを取得し、それらを世界の固定スナップショットに結び付け、継続的な進化する知識への適応を困難にしている。 事実、実体、出来事が時間とともに変化するにつれて、モデルは継続的な知識の漂流を経験し、時代遅れの予測だけでなく、時間的に一貫性のない推論にも結果をもたらす。 連続的な微調整、知識編集、検索強化生成(RAG)といった既存のアプローチは、モデル知識の更新や補足を目的としているが、時系列、進化、現実世界の知識進化を反映した設定で評価されることは滅多にない。 本研究では,時間とともに知識がどのように進化するかを把握し,連続的な知識ドリフト下でのモデル適応の体系的評価を可能にする,時間スタンプによる証拠から構築された実世界の動的事象のベンチマークを紹介する。 ベンチマークによると、バニラRAGやいくつかの学習ベースのアプローチを含む既存の手法は、この設定の下で苦労し、破滅的な忘れ込みや時間的矛盾といった致命的な制限を露呈している。 これらの制限を緩和するために、我々は、検索された証拠をイベント進化グラフに段階的に整理し、追加のトレーニングなしでLLMにおけるより時間的に一貫した理解を可能にする、時間対応の検索ベースラインであるChronosを提案する。 全体として、この研究は、現実的な環境での継続的な知識の漂流に対するLLM適応の分析と前進の基盤を提供する。

関連論文リスト

• EvoWiki: Evaluating LLMs on Evolving Knowledge [72.92365627254063]
  EvoWiki(エボウィキ)は、知識の進化を反映した進化的データセットである。 我々の結果は、現在のモデルは進化した知識に苦しむことが多く、時代遅れや誤った反応を頻繁に与えていることを示している。 EvoWikiは、大規模言語モデルの知識進化能力に関する将来の研究を進めるための堅牢なベンチマークを提供する。
  論文  参考訳（メタデータ） (2024-12-18T08:04:57Z)
• ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains [19.428141279030527]
  ChroKnowBenchは、時系列的に蓄積された知識を評価するために設計されたベンチマークデータセットである。 ChroKnowledgeは、LLMの非パラメトリック時系列知識を評価するための新しいサンプリングベースのフレームワークである。 ChroKnowPrompt(クロクノウプロンプト)は、周囲の時間帯をステップバイステップで移動することで、時系列の知識を引き出すための奥行きである。
  論文  参考訳（メタデータ） (2024-10-13T15:08:49Z)
• GrowOVER: How Can LLMs Adapt to Growing Real-World Knowledge? [36.987716816134984]
  本稿では,更新の連続サイクルを経たGrowOVER-QAとGrowOVER-Dialogue,動的オープンドメインQA,ダイアログベンチマークを提案する。 本研究は,検索強化言語モデル(RaLM)が,まだトレーニングされていない知識や最近更新されていない知識に悩まされていることを示唆している。 本稿では,新たな検索対話型言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T01:16:04Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Online Continual Knowledge Learning for Language Models [3.654507524092343]
  大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。 オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T07:31:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。