論文の概要: Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams

• arxiv url: http://arxiv.org/abs/2603.07392v1
• Date: Sun, 08 Mar 2026 00:38:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.398901
• Title: Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams
• Title（参考訳）: 大規模言語モデルは維持できるのか? 継続的な知識ストリームへのオンライン適応のベンチマーク
• Authors: Jiyeon Kim, Hyunji Lee, Dylan Zhou, Sue Hyun Park, Seunghyun Yoon, Trung Bui, Franck Dernoncourt, Sungmin Cha, Minjoon Seo,
• Abstract要約: 我々は、ストリーミングよりもオンライン適応を評価し、知識を継続的に更新する。 OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成される。 最先端モデルとエージェントメモリシステムはどちらもOAKSにしっかりと適応できない。
• 参考スコア（独自算出の注目度）: 78.9560820155271
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs operating in dynamic real-world contexts often encounter knowledge that evolves continuously or emerges incrementally. To remain accurate and effective, models must adapt to newly arriving information on the fly. We introduce Online Adaptation to Continual Knowledge Streams(OAKS) to evaluate this capability, establishing a benchmark for online adaptation over streaming, continually updating knowledge. Specifically, the benchmark is structured as a sequence of fine-grained context chunks where facts change dynamically across time intervals. OAKS comprises two datasets: OAKS-BABI and OAKS-Novel, where individual facts evolve multiple times across context chunks. These datasets include dense annotations to measure whether models track changes accurately. Evaluating 14 models with varied inference approaches, we observe significant limitations in current methodologies. Both state-of-the-art models and agentic memory systems fail to adapt robustly on OAKS, demonstrating delays in state-tracking and susceptibility to distraction within streaming environments.
• Abstract（参考訳）: 動的実世界のコンテキストで動作するLLMは、しばしば継続的に進化する知識や漸進的に現れる知識に遭遇する。 正確で効果的な状態を維持するためには、モデルが新たに到着した情報に適応する必要がある。 連続的知識ストリームへのオンライン適応(OAKS)を導入し、その能力を評価し、ストリーミングに対するオンライン適応のベンチマークを確立し、知識を継続的に更新する。 具体的には、ベンチマークは、時間間隔で事実が動的に変化する、きめ細かいコンテキストチャンクのシーケンスとして構成される。 OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成されている。 これらのデータセットには、モデルが変更を正確に追跡するかどうかを測定するための高密度アノテーションが含まれている。 様々な推論手法による14のモデルの評価を行い、現在の方法論における重要な限界を観察する。 最先端モデルとエージェントメモリシステムはどちらもOAKSに堅牢に適応できず、状態追跡の遅延とストリーミング環境内の障害に対する感受性を示す。

関連論文リスト

• Experience Scaling: Post-Deployment Evolution For Large Language Models [44.48142891798125]
  大規模言語モデル(LLM)の継続的デプロイ後進化のためのフレームワークであるエクスペリエンススケーリングを提案する。 このフレームワークは,以前には見つからなかったが関連するタスク,繰り返しクエリ,過飽和知識ストアへの一般化を含む実世界のシナリオで検証される。 その結果、構造化されたデプロイ後学習は、静的な人間生成データの限界を超えてLLM能力を拡張できることを示した。
  論文  参考訳（メタデータ） (2025-09-23T08:04:58Z)
• In-context learning of evolving data streams with tabular foundational models [42.13420474990124]
  この研究は両領域の進歩を橋渡しし、トランスフォーマーの暗黙のメタ学習能力、ドリフトする自然データへの事前トレーニング、動的環境における適応学習のコア課題へのコンテキスト最適化への依存などを強調した。 本研究は,TabPFNが単純なスライディングメモリ戦略と組み合わさって,非定常ベンチマークにおけるHoeffdingツリーのアンサンブルを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-24T04:52:35Z)
• ODEStream: A Buffer-Free Online Learning Framework with ODE-based Adaptor for Streaming Time Series Forecasting [11.261457967759688]
  ODEStreamはバッファフリーの連続的な学習フレームワークで、データ内の時間的依存関係をキャプチャするための時間的分離レイヤを備えている。 連続したデータ表現を生成し、データストリーミングシナリオにおける動的変更へのシームレスな適応を可能にする。 我々のアプローチは、過去のデータの動的および分布が時間とともにどのように変化するかを学ぶことに集中し、ストリーミングシーケンスの直接処理を容易にする。
  論文  参考訳（メタデータ） (2024-11-11T22:36:33Z)
• A Practitioner's Guide to Continual Multimodal Pretraining [83.63894495064855]
  マルチモーダル・ファンデーション・モデルは視覚と言語を交わす多くのアプリケーションに役立っている。 モデルを更新し続けるために、継続事前トレーニングの研究は主に、大規模な新しいデータに対する頻度の低い、差別的な更新、あるいは頻繁に行われるサンプルレベルの更新のシナリオを探求する。 本稿では,FoMo-in-Flux(FoMo-in-Flux)について紹介する。
  論文  参考訳（メタデータ） (2024-08-26T17:59:01Z)
• Carpe Diem: On the Evaluation of World Knowledge in Lifelong Language Models [74.81091933317882]
  進化するウィキペディアデータベース上でのLMのトレーニングと評価を目的とした,時間的に進化する質問応答ベンチマークであるEvolvingQAを紹介する。 既存の継続的な学習ベースラインが、時代遅れの知識の更新と削除に悩まされていることを明らかにする。 本研究の目的は,実世界の情報の動的性質をモデル化することであり,言語モデルの進化適応性を忠実に評価することである。
  論文  参考訳（メタデータ） (2023-11-14T12:12:02Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。