論文の概要: History Matters: Temporal Knowledge Editing in Large Language Model

• arxiv url: http://arxiv.org/abs/2312.05497v2
• Date: Tue, 12 Dec 2023 03:22:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 12:42:34.039583
• Title: History Matters: Temporal Knowledge Editing in Large Language Model
• Title（参考訳）: 歴史問題:大規模言語モデルにおける時間的知識編集
• Authors: Xunjian Yin, Jin Jiang, Liming Yang, Xiaojun Wan
• Abstract要約: 本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKeを確立する。 既存のモデル編集手法は、モデルに新しい知識を記憶させるのに有効であるが、編集されたモデルは歴史的知識を破滅的に忘れてしまう。 このギャップに対処するため,既存の編集モデルを改善するためのMulti-Editing with Time Objective (METO) という,シンプルで汎用的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 42.74144542674756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The imperative task of revising or updating the knowledge stored within large language models arises from two distinct sources: intrinsic errors inherent in the model which should be corrected and outdated knowledge due to external shifts in the real world which should be updated. Prevailing efforts in model editing conflate these two distinct categories of edits arising from distinct reasons and directly modify the original knowledge in models into new knowledge. However, we argue that preserving the model's original knowledge remains pertinent. Specifically, if a model's knowledge becomes outdated due to evolving worldly dynamics, it should retain recollection of the historical knowledge while integrating the newfound knowledge. In this work, we introduce the task of Temporal Knowledge Editing (TKE) and establish a benchmark AToKe (Assessment of TempOral Knowledge Editing) to evaluate current model editing methods. We find that while existing model editing methods are effective at making models remember new knowledge, the edited model catastrophically forgets historical knowledge. To address this gap, we propose a simple and general framework termed Multi-Editing with Time Objective (METO) for enhancing existing editing models, which edits both historical and new knowledge concurrently and optimizes the model's prediction for the time of each fact. Our assessments demonstrate that while AToKe is still difficult, METO maintains the effectiveness of learning new knowledge and meanwhile substantially improves the performance of edited models on utilizing historical knowledge.
• Abstract（参考訳）: 大規模な言語モデルに格納されている知識を修正または更新するという命令的なタスクは、2つの異なるソースから生じます。 モデル編集における主要な取り組みは、異なる理由から生じる2つの異なるカテゴリの編集を詳述し、モデルの本来の知識を直接新しい知識に修正する。 しかし,モデルの本来の知識の保存は依然として適切である。 特に、世界力学の進化によってモデルの知識が時代遅れになった場合、新しい知識を統合しつつ、歴史的知識の記憶を保たなければならない。 本稿では,時間的知識編集(TKE)の課題を紹介し,現在のモデル編集手法を評価するためのベンチマークATOKe(Assessment of Temporal Knowledge Editing)を確立する。 既存のモデル編集手法はモデルに新しい知識を思い出させるのに有効であるが、そのモデル編集は歴史的知識を壊滅的に忘れてしまう。 そこで,本稿では,歴史的知識と新たな知識を同時に編集し,各事実の時間に対するモデルの予測を最適化する既存の編集モデルを強化するための,時間目標付きマルチ編集(meto)という,単純で汎用的なフレームワークを提案する。 評価の結果、ATOKeはまだ難しいが、METOは新たな知識の学習の有効性を維持し、また、履歴知識の活用における編集モデルの性能を大幅に向上させる。

関連論文リスト

• Should We Really Edit Language Models? On the Evaluation of Edited Language Models [15.63231238452797]
  既存の編集手法は、一般的なベンチマークで必然的にパフォーマンスが低下する。 インストラクションチューニングされたモデルは、編集がより堅牢で、編集後の一般的な知識に対するパフォーマンス低下が少ない。 その結果,現在の編集手法は,言語モデル内の小規模な知識更新にのみ適していることがわかった。
  論文  参考訳（メタデータ） (2024-10-24T14:36:48Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Outdated Issue Aware Decoding for Reasoning Questions on Edited Knowledge [93.54427119091174]
  本稿では,従来のISsueを意識した復号化手法を提案する。 元のモデルと編集されたモデルとの確率分布の差を捉える。 我々は、古くなった問題を緩和するために、編集されたモデルにおけるトークン予測の違いを増幅する。
  論文  参考訳（メタデータ） (2024-06-05T03:00:15Z)
• Detecting Edited Knowledge in Language Models [5.260519479124422]
  知識編集手法(KEs)は、事前学習から学んだ言語モデルの古いまたは不正確な知識を更新することができる。 生成されたアウトプットが編集された知識に基づいているか、あるいは事前学習からのファーストハンド知識に基づいているかを知ることは、生成モデルに対するユーザの信頼を高めることができる。 本稿では,言語モデルにおける編集された知識を検出する新しい課題を提案する。
  論文  参考訳（メタデータ） (2024-05-04T22:02:24Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。