論文の概要: ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
- arxiv url: http://arxiv.org/abs/2607.26455v1
- Date: Wed, 29 Jul 2026 04:11:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.536013
- Title: ForgetBench: Benchmarking Forgetting Dynamics of Long-Term Parametric Memory in Language Models
- Title（参考訳）: ForgetBench: 言語モデルにおける長期パラメトリックメモリのベンチマーク予測ダイナミクス
- Abstract要約: ForgetBenchは、大規模な言語モデルで忘れる動作を体系的に特徴付けるために設計されたベンチマークである。
逐次的リレーショナル編集フレームワークを構築し,時間的に順序付けられた知識ストリームを構築し,複数の編集段階にわたるモデル行動を評価する。
- 参考スコア（独自算出の注目度）: 3.8463085098862178
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated strong capabilities in knowledge acquisition and reasoning, yet their ability to retain previously acquired knowledge under repeated updates remains insufficiently understood. Existing evaluation paradigms primarily focus on single-step reasoning or static knowledge editing, which fail to capture the temporal dynamics of knowledge retention and degradation during continual model modification. In this work, we propose ForgetBench, a benchmark designed to systematically characterize forgetting behavior in LLMs under continual knowledge editing. ForgetBench introduces two complementary evaluation paradigms, namely concept-based QA and scenario-based QA, to disentangle isolated factual retention from structured relational knowledge preservation. Building upon a sequential editing framework, we construct temporally ordered knowledge streams and evaluate model behavior across multiple editing stages. To quantitatively analyze long-term retention dynamics, we further introduce a unified evaluation framework that models knowledge evolution over time, enabling the measurement of temporal decay, retention strength, and cross-instance stability. Extensive experiments across diverse models and editing methods demonstrate that existing approaches fail to strike a balance between long-term retention and generalization quality. Our findings highlight the need for more robust memory mechanisms that can effectively acquire, update, and preserve knowledge over time in future LLMs. Code will be released upon acceptance.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、知識獲得と推論において強力な能力を示してきたが、更新を繰り返して獲得した知識を保持する能力は、まだ十分に理解されていない。
既存の評価パラダイムは主に1段階の推論や静的知識の編集に重点を置いており、これは継続モデル修正時の知識保持と劣化の時間的ダイナミクスを捉えるのに失敗する。
本研究では,LLMにおける忘れ動作を連続的な知識編集の下で体系的に特徴付けるベンチマークであるForgetBenchを提案する。
ForgetBenchは、概念ベースのQAとシナリオベースのQAという2つの相補的評価パラダイムを導入し、構造化された関係知識保存から独立した事実保持を解き放つ。
逐次的な編集フレームワークを構築し,時間的に順序付けられた知識ストリームを構築し,複数の編集段階にわたるモデル行動を評価する。
さらに,長期維持動態を定量的に解析するために,時間とともに知識の進化をモデル化し,時間的減衰,保持強度,クロスインスタンス安定性の測定を可能にする統一的な評価枠組みを導入する。
多様なモデルや編集手法にわたる大規模な実験は、既存のアプローチが長期維持と一般化品質のバランスをとらないことを示した。
今後のLLMにおける知識を効果的に獲得し,更新し,保存することのできる,より堅牢なメモリ機構の必要性を強調した。
コードは受理時にリリースされる。
関連論文リスト
- Dynamic Mixture of Latent Memories for Self-Evolving Agents [57.20419419302731]
MoLEMは、動的混合(MoE)に基づく潜在メモリフレームワークの生成混合物である。
我々は、数学、科学、コードドメインにまたがる連続的な学習シーケンスに基づいて、このフレームワークを訓練する。
連続学習を完了した後、Vanilla事前学習ベースラインよりも平均精度を10.40%向上させる。
論文 参考訳（メタデータ） (2026-05-21T03:35:10Z) - The Model Agreed, But Didn't Learn: Diagnosing Surface Compliance in Large Language Models [12.743453676247903]
大規模言語モデル(LLM)は、膨大な世界の知識をパラメトリックメモリとして内部化するが、必然的にソースコーパスの不安定さと誤りを継承する。
知識編集は、再トレーニングせずに記憶を外科的に修正するための重要なパラダイムを提供する。
本研究では,文脈内学習環境下での識別的自己評価をモデルとした診断フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-07T15:20:41Z) - Can Large Language Models Keep Up? Benchmarking Online Adaptation to Continual Knowledge Streams [78.9560820155271]
我々は、ストリーミングよりもオンライン適応を評価し、知識を継続的に更新する。
OAKSはOAKS-BABIとOAKS-Novelの2つのデータセットから構成される。
最先端モデルとエージェントメモリシステムはどちらもOAKSにしっかりと適応できない。
論文 参考訳（メタデータ） (2026-03-08T00:38:39Z) - Modular Memory is the Key to Continual Learning Agents [100.09688599754465]
In-Weight Learning(IWL)の強みと、モジュラーメモリの設計を通じて新たに登場したIn-Context Learning(ICL)の機能を組み合わせることが、大規模に継続的適応するための欠片である、と我々は主張する。
我々は、ICLを高速適応と知識蓄積に活用するモジュール型メモリ中心アーキテクチャの概念的フレームワークと、モデル機能の安定した更新のためのIWLについて概説する。
論文 参考訳（メタデータ） (2026-03-02T11:40:05Z) - KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。
textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
論文 参考訳（メタデータ） (2025-09-26T04:32:29Z) - TRAIL: Joint Inference and Refinement of Knowledge Graphs with Large Language Models [5.678291291711662]
TRAILは思考、推論、インクリメンタルラーニングのための、新しく統合されたフレームワークである。
共同推論と動的KG精製を大きな言語モデルと組み合わせる。
複数のベンチマークでの大規模な実験により、TRAILは既存のKG拡張および検索拡張LDMベースラインを3%から13%上回った。
論文 参考訳（メタデータ） (2025-08-06T14:25:05Z) - Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [41.19330514054401]
大規模言語モデル(LLM)は、不一致の自己認識に起因する幻覚の傾向にある。
本稿では,高速かつ低速な推論システムを統合し,信頼性とユーザビリティを調和させる明示的知識境界モデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-03-04T03:16:02Z) - Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - Temporal-Difference Variational Continual Learning [77.92320830700797]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - Uncertainty-preserving deep knowledge tracing with state-space models [1.3791394805787949]
知識の追跡と従来の評価の中心的な目標は、ある時点における学生の知識とスキルを定量化することである。
本稿では,変分オートエンコーダのフレキシブルな不確実性保存特性とベイズ状態空間モデルの原理的情報統合を組み合わせたモデリングパラダイムであるDynamic LENSを紹介する。
論文 参考訳（メタデータ） (2024-07-09T13:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。