論文の概要: WikiFactDiff: A Large, Realistic, and Temporally Adaptable Dataset for Atomic Factual Knowledge Update in Causal Language Models
- arxiv url: http://arxiv.org/abs/2403.14364v1
- Date: Thu, 21 Mar 2024 12:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:18:45.511063
- Title: WikiFactDiff: A Large, Realistic, and Temporally Adaptable Dataset for Atomic Factual Knowledge Update in Causal Language Models
- Title（参考訳）: WikiFactDiff: 因果的言語モデルにおけるアトミック・ファクチュアル・ナレッジ更新のための大規模でリアルでテンポラブルなデータセット
- Authors: Hichem Ammar Khodja, Frédéric Béchet, Quentin Brabant, Alexis Nasr, Gwénolé Lecorvé,
- Abstract要約: ウィキファクトディフ(WikiFactDiff)は、2つの日付間の事実知識の進化を記述したデータセットである。
これら3つの基本更新の様々な組み合わせから生じるいくつかの更新シナリオについて述べる。
- 参考スコア（独自算出の注目度）: 3.6921454547718784
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The factuality of large language model (LLMs) tends to decay over time since events posterior to their training are "unknown" to them. One way to keep models up-to-date could be factual update: the task of inserting, replacing, or removing certain simple (atomic) facts within the model. To study this task, we present WikiFactDiff, a dataset that describes the evolution of factual knowledge between two dates as a collection of simple facts divided into three categories: new, obsolete, and static. We describe several update scenarios arising from various combinations of these three types of basic update. The facts are represented by subject-relation-object triples; indeed, WikiFactDiff was constructed by comparing the state of the Wikidata knowledge base at 4 January 2021 and 27 February 2023. Those fact are accompanied by verbalization templates and cloze tests that enable running update algorithms and their evaluation metrics. Contrary to other datasets, such as zsRE and CounterFact, WikiFactDiff constitutes a realistic update setting that involves various update scenarios, including replacements, archival, and new entity insertions. We also present an evaluation of existing update algorithms on WikiFactDiff.
- Abstract（参考訳）: 大規模言語モデル(LLM)の事実性は、トレーニングの後の出来事が彼らにとって「未知」であるため、時間とともに低下する傾向にある。
モデルを最新に保つ方法の1つは、モデル内のある種の単純な(アトミックな)事実を挿入、置換、削除するタスクである。
この課題を研究するために、WikiFactDiffは、2つの日付間の事実知識の進化を、新しい、古い、静的の3つのカテゴリに分けられた単純な事実の集合として記述するデータセットである。
これら3つの基本更新の様々な組み合わせから生じるいくつかの更新シナリオについて述べる。
実際、WikiFactDiffは2021年1月4日と2023年2月27日のWikidata知識ベースの状態を比較して構築された。
これらの事実には、更新アルゴリズムの実行と評価メトリクスを可能にする、言語テンプレートとクローゼテストが伴っている。
zsREやCounterFactといった他のデータセットとは対照的に、WikiFactDiffは、置換、アーカイブ、新しいエンティティ挿入など、さまざまなアップデートシナリオを含む、現実的なアップデート設定を構成している。
また,既存の更新アルゴリズムをWikiFactDiff上で評価する。
関連論文リスト
- Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning [2.8972337324168014]
本研究では, PLMが学習し, 学習前コーパスで発生しない新たな世界知識事実を記憶する方法について検討する。
我々はまず,最近のウィキデータ更新から抽出された新しい事実を含む文からなる新しいデータセットであるNove-WDを提案する。
このデータセットをコミュニティに無償で提供し、その後、最新情報を備えた類似データセットの新バージョンを構築する手順をリリースします。
論文 参考訳（メタデータ） (2024-08-30T07:54:50Z) - Language Modeling with Editable External Knowledge [90.7714362827356]
本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。
ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。
7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
論文 参考訳（メタデータ） (2024-06-17T17:59:35Z) - AKEW: Assessing Knowledge Editing in the Wild [79.96813982502952]
AKEW(Assessing Knowledge Editing in the Wild)は知識編集のための新しい実用的なベンチマークである。
知識更新の編集設定は、構造化された事実、構造化されていない事実としてのテキスト、抽出された三つ組の3つを網羅している。
大規模な実験を通じて、最先端の知識編集手法と実践シナリオの間にかなりのギャップがあることを実証する。
論文 参考訳（メタデータ） (2024-02-29T07:08:34Z) - Information Leakage from Data Updates in Machine Learning Models [12.337195143722342]
我々は、最新の情報を組み込んだり、分散シフトを反映するために、機械学習モデルが更新データセット上で再トレーニングされる環境を検討する。
ここでは、敵はデータセットの変更前後で機械学習モデルのスナップショットにアクセスする。
本稿では,元のモデルと更新モデルの予測信頼度の違いに基づく攻撃を提案する。
論文 参考訳（メタデータ） (2023-09-20T02:55:03Z) - WIKITIDE: A Wikipedia-Based Timestamped Definition Pairs Dataset [12.707584479922833]
ウィキタイデはウィキペディアから抽出したタイムスタンプ定義のペアから抽出したデータセットである。
我々の結果は、WikiTiDeのシードバージョンをブートストラップすると、より微調整されたモデルが得られることを示唆している。
論文 参考訳（メタデータ） (2023-08-07T13:38:54Z) - Information Association for Language Model Updating by Mitigating
LM-Logical Discrepancy [68.31760483418901]
大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。
知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。
これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
論文 参考訳（メタデータ） (2023-05-29T19:48:37Z) - Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。
我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。
私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
論文 参考訳（メタデータ） (2023-05-24T07:30:08Z) - WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions
from Paragraphs [66.88232442007062]
ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。
データセットは、6987のトピックに関する80万以上の英語サンプルで構成されている。
本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
論文 参考訳（メタデータ） (2022-09-27T01:28:02Z) - TemporalWiki: A Lifelong Benchmark for Training and Evaluating
Ever-Evolving Language Models [31.900232508466928]
TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである
研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。
連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
論文 参考訳（メタデータ） (2022-04-29T16:40:07Z) - A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。
時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。
既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳（メタデータ） (2021-08-13T16:42:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。