論文の概要: History Matters: Temporal Knowledge Editing in Large Language Model
- arxiv url: http://arxiv.org/abs/2312.05497v2
- Date: Tue, 12 Dec 2023 03:22:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-13 12:42:34.039583
- Title: History Matters: Temporal Knowledge Editing in Large Language Model
- Title(参考訳): 歴史問題:大規模言語モデルにおける時間的知識編集
- Authors: Xunjian Yin, Jin Jiang, Liming Yang, Xiaojun Wan
- Abstract要約: 本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。
既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。
このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 42.74144542674756
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The imperative task of revising or updating the knowledge stored within large
language models arises from two distinct sources: intrinsic errors inherent in
the model which should be corrected and outdated knowledge due to external
shifts in the real world which should be updated. Prevailing efforts in model
editing conflate these two distinct categories of edits arising from distinct
reasons and directly modify the original knowledge in models into new
knowledge. However, we argue that preserving the model's original knowledge
remains pertinent. Specifically, if a model's knowledge becomes outdated due to
evolving worldly dynamics, it should retain recollection of the historical
knowledge while integrating the newfound knowledge. In this work, we introduce
the task of Temporal Knowledge Editing (TKE) and establish a benchmark AToKe
(Assessment of TempOral Knowledge Editing) to evaluate current model editing
methods. We find that while existing model editing methods are effective at
making models remember new knowledge, the edited model catastrophically forgets
historical knowledge. To address this gap, we propose a simple and general
framework termed Multi-Editing with Time Objective (METO) for enhancing
existing editing models, which edits both historical and new knowledge
concurrently and optimizes the model's prediction for the time of each fact.
Our assessments demonstrate that while AToKe is still difficult, METO maintains
the effectiveness of learning new knowledge and meanwhile substantially
improves the performance of edited models on utilizing historical knowledge.
- Abstract(参考訳): 大規模な言語モデルに格納されている知識を修正または更新するという命令的なタスクは、2つの異なるソースから生じます。
モデル編集における主要な取り組みは、異なる理由から生じる2つの異なるカテゴリの編集を詳述し、モデルの本来の知識を直接新しい知識に修正する。
しかし,モデルの本来の知識の保存は依然として適切である。
特に、世界力学の進化によってモデルの知識が時代遅れになった場合、新しい知識を統合しつつ、歴史的知識の記憶を保たなければならない。
本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKe(Assessment of Temporal Knowledge Editing)を確立する。
既存のモデル編集手法はモデルに新しい知識を思い出させるのに有効であるが、そのモデル編集は歴史的知識を壊滅的に忘れてしまう。
そこで,本稿では,歴史的知識と新たな知識を同時に編集し,各事実の時間に対するモデルの予測を最適化する既存の編集モデルを強化するための,時間目標付きマルチ編集(meto)という,単純で汎用的なフレームワークを提案する。
評価の結果、ATOKeはまだ難しいが、METOは新たな知識の学習の有効性を維持し、また、履歴知識の活用における編集モデルの性能を大幅に向上させる。
関連論文リスト
- Updating Language Models with Unstructured Facts: Towards Practical
Knowledge Editing [87.35944788684958]
我々は新しいベンチマークUnstructured Knowledge Editing (UKE)を提案する。
UKEは、構造化されていないテキストを直接知識更新として使用する編集性能を評価し、構造化されていない事実と呼ぶ。
新たに構築されたデータセットに関する広範な実験を行い、UKEが最先端の知識編集手法に重大な課題をもたらすことを示した。
論文 参考訳(メタデータ) (2024-02-29T07:08:34Z) - Stable Knowledge Editing in Large Language Models [68.98582618305679]
本稿では,知識ローカライゼーションではなく,知識増強に基づく知識編集手法であるStableKEを紹介する。
人間のラベル付けのコストを克服するため、StableKEは2つの自動知識増強戦略を統合している。
StableKEは、他の知識編集方法を超え、編集された知識とマルチホップ知識の両方の安定性を示す。
論文 参考訳(メタデータ) (2024-02-20T14:36:23Z) - Model Editing at Scale leads to Gradual and Catastrophic Forgetting [2.887477629420772]
本稿では,ROMEとMEMITの2つの手法に焦点をあてて,現在のモデル編集手法を大規模に評価する。
モデルが複数の事実と逐次的に編集されるにつれて、以前編集された事実と下流タスクの実行能力を常に忘れていることがわかった。
論文 参考訳(メタデータ) (2024-01-15T03:57:15Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Adaptively Integrated Knowledge Distillation and Prediction Uncertainty
for Continual Learning [71.43841235954453]
現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。
この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
論文 参考訳(メタデータ) (2023-01-18T05:36:06Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳(メタデータ) (2022-11-09T18:58:29Z) - Facts as Experts: Adaptable and Interpretable Neural Memory over
Symbolic Knowledge [38.48518306055536]
我々は、象徴的解釈可能な事実情報とサブシンボル的神経知識との明確なインターフェースを含むニューラル言語モデルを開発する。
このモデルは,2つの知識集約型質問応答タスクの性能を劇的に向上させることを示す。
論文 参考訳(メタデータ) (2020-07-02T03:05:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。