論文の概要: TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models

• arxiv url: http://arxiv.org/abs/2204.14211v3
• Date: Wed, 12 Apr 2023 12:16:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-13 19:14:16.938424
• Title: TemporalWiki: A Lifelong Benchmark for Training and Evaluating Ever-Evolving Language Models
• Title（参考訳）: TemporalWiki: 進化し続ける言語モデルのトレーニングと評価のための生涯ベンチマーク
• Authors: Joel Jang, Seonghyeon Ye, Changho Lee, Sohee Yang, Joongbo Shin, Janghoon Han, Gyeonghun Kim, Minjoon Seo
• Abstract要約: TemporalWikiは、絶え間なく進化する言語モデル(LM)の生涯ベンチマークである 研究者は、LMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。 連続的な学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで、同様の、あるいはより複雑な処理を実現する。
• 参考スコア（独自算出の注目度）: 31.900232508466928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Models (LMs) become outdated as the world changes; they often fail to perform tasks requiring recent factual information which was absent or different during training, a phenomenon called temporal misalignment. This is especially a challenging problem because the research community still lacks a coherent dataset for assessing the adaptability of LMs to frequently-updated knowledge corpus such as Wikipedia. To this end, we introduce TemporalWiki, a lifelong benchmark for ever-evolving LMs that utilizes the difference between consecutive snapshots of English Wikipedia and English Wikidata for training and evaluation, respectively. The benchmark hence allows researchers to periodically track an LM's ability to retain previous knowledge and acquire updated/new knowledge at each point in time. We also find that training an LM on the diff data through continual learning methods achieves similar or better perplexity than on the entire snapshot in our benchmark with 12 times less computational cost, which verifies that factual knowledge in LMs can be safely updated with minimal training data via continual learning. The dataset and the code are available at https://github.com/joeljang/temporalwiki.
• Abstract（参考訳）: 言語モデル(lms)は、世界が変化するにつれて時代遅れになり、訓練中に欠如または異なっていた最近の事実情報を必要とするタスクの実行に失敗する。 研究コミュニティには、ウィキペディアのような頻繁に更新された知識コーパスに対するLMの適応性を評価するための一貫性のあるデータセットがないため、これは特に難しい問題である。 そこで本研究では,英語ウィキペディアの連続スナップショットと英語ウィキデータとの差を利用した,生涯にわたるLMのベンチマークであるTemporalWikiを紹介した。 このベンチマークにより、研究者はLMの以前の知識を定期的に追跡し、各時点の更新/更新知識を取得することができる。 また、連続学習手法による差分データ上でのLMのトレーニングは、ベンチマークのスナップショット全体の12倍の計算コストで同様の、あるいはより複雑な処理を実現し、連続学習による最小限のトレーニングデータでLMの事実知識を安全に更新できることを確認する。 データセットとコードはhttps://github.com/joeljang/temporalwikiで入手できる。

関連論文リスト

• Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning [2.8972337324168014]
  本研究では, PLMが学習し, 学習前コーパスで発生しない新たな世界知識事実を記憶する方法について検討する。 我々はまず,最近のウィキデータ更新から抽出された新しい事実を含む文からなる新しいデータセットであるNove-WDを提案する。 このデータセットをコミュニティに無償で提供し、その後、最新情報を備えた類似データセットの新バージョンを構築する手順をリリースします。
  論文  参考訳（メタデータ） (2024-08-30T07:54:50Z)
• HelloFresh: LLM Evaluations on Streams of Real-World Human Editorial Actions across X Community Notes and Wikipedia edits [92.62157408704594]
  HelloFreshは、本質的に動機づけられた人間のラベルによって生成された実世界のデータの連続的なストリームに基づいている。 ウィキペディアページのX(元Twitter)コミュニティノートと編集の最近のイベントをカバーしている。 テストデータの汚染とベンチマークオーバーフィッティングのリスクを軽減します。
  論文  参考訳（メタデータ） (2024-06-05T16:25:57Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• StreamingQA: A Benchmark for Adaptation to New Knowledge over Time in Question Answering Models [31.43391633383255]
  提案する大規模データセットであるStreamingQAを構築した。 プレトレーニングでは見られない新しい記事を読むことで、四半期毎にモデルを評価します。 我々は,大惨な忘れを回避しつつ,パラメトリックモデルをフルリトレーニングなしで更新可能であることを示す。
  論文  参考訳（メタデータ） (2022-05-23T15:33:41Z)
• Entity Cloze By Date: What LMs Know About Unseen Entities [79.34707800653597]
  言語モデル(LM)は通常、大規模なコーパスで一度訓練され、更新されずに数年間使用される。 本研究では,LMの事前学習時に存在しなかった新しいエンティティについて,LMがどのような推論ができるのかを解析する枠組みを提案する。 本論文は,その発祥日によって索引付けされたエンティティのデータセットを,英語のウィキペディア記事と組み合わせて作成し,各エンティティに関する文章を検索する。
  論文  参考訳（メタデータ） (2022-05-05T17:59:31Z)
• Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora [31.136334214818305]
  本稿では,PTLMが更新され続けている言語モデル事前学習課題について検討する。 ドメインインクリメンタルな研究論文ストリームと時系列に順序付けられたつぶやきストリームを通じて、PTLMを異なる連続学習アルゴリズムで段階的に事前訓練する。 本実験は,ロジット蒸留を最も効果的に行うことにより,学習アルゴリズムが知識保存を改善することを示す。
  論文  参考訳（メタデータ） (2021-10-16T09:59:33Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Time-Aware Language Models as Temporal Knowledge Bases [39.00042720454899]
  言語モデル(LM)は特定のタイミングで収集されたデータのスナップショットに基づいて訓練される。 本稿では,時間とともに変化する事実的知識に対するLMの探索を目的とした診断データセットを提案する。 本稿では,テキストをタイムスタンプでモデル化する簡単な手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T06:18:57Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。