論文の概要: EvoWiki: Evaluating LLMs on Evolving Knowledge

• arxiv url: http://arxiv.org/abs/2412.13582v1
• Date: Wed, 18 Dec 2024 08:04:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-19 13:24:49.225013
• Title: EvoWiki: Evaluating LLMs on Evolving Knowledge
• Title（参考訳）: EvoWiki: 知識の進化に関するLLMの評価
• Authors: Wei Tang, Yixin Cao, Yang Deng, Jiahao Ying, Bo Wang, Yizhe Yang, Yuyue Zhao, Qi Zhang, Xuanjing Huang, Yugang Jiang, Yong Liao,
• Abstract要約: EvoWiki(エボウィキ)は、知識の進化を反映した進化的データセットである。 我々の結果は、現在のモデルは進化した知識に苦しむことが多く、時代遅れや誤った反応を頻繁に与えていることを示している。 EvoWikiは、大規模言語モデルの知識進化能力に関する将来の研究を進めるための堅牢なベンチマークを提供する。
• 参考スコア（独自算出の注目度）: 72.92365627254063
• License:
• Abstract: Knowledge utilization is a critical aspect of LLMs, and understanding how they adapt to evolving knowledge is essential for their effective deployment. However, existing benchmarks are predominantly static, failing to capture the evolving nature of LLMs and knowledge, leading to inaccuracies and vulnerabilities such as contamination. In this paper, we introduce EvoWiki, an evolving dataset designed to reflect knowledge evolution by categorizing information into stable, evolved, and uncharted states. EvoWiki is fully auto-updatable, enabling precise evaluation of continuously changing knowledge and newly released LLMs. Through experiments with Retrieval-Augmented Generation (RAG) and Contunual Learning (CL), we evaluate how effectively LLMs adapt to evolving knowledge. Our results indicate that current models often struggle with evolved knowledge, frequently providing outdated or incorrect responses. Moreover, the dataset highlights a synergistic effect between RAG and CL, demonstrating their potential to better adapt to evolving knowledge. EvoWiki provides a robust benchmark for advancing future research on the knowledge evolution capabilities of large language models.
• Abstract（参考訳）: 知識利用はLLMの重要な側面であり、進化する知識にどのように適応するかを理解することは、効果的に展開するのに不可欠である。 しかし、既存のベンチマークは主に静的であり、LLMの進化する性質や知識を捉えず、不正確さや汚染などの脆弱性に繋がる。 本稿では,知識進化を反映した進化的データセットであるEvoWikiを紹介する。 EvoWikiは完全に自動更新可能で、継続的に変化する知識と新しくリリースされたLLMの正確な評価を可能にする。 Retrieval-Augmented Generation (RAG) とContunual Learning (CL) による実験により、LLMが進化する知識にいかに効果的に適応するかを評価する。 我々の結果は、現在のモデルは進化した知識に苦しむことが多く、時代遅れや誤った反応を頻繁に与えていることを示している。 さらに、データセットはRAGとCLの相乗効果を強調し、進化する知識に適応する可能性を示している。 EvoWikiは、大規模言語モデルの知識進化能力に関する将来の研究を進めるための堅牢なベンチマークを提供する。

関連論文リスト

• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• GrowOVER: How Can LLMs Adapt to Growing Real-World Knowledge? [36.987716816134984]
  本稿では,更新の連続サイクルを経たGrowOVER-QAとGrowOVER-Dialogue,動的オープンドメインQA,ダイアログベンチマークを提案する。 本研究は,検索強化言語モデル(RaLM)が,まだトレーニングされていない知識や最近更新されていない知識に悩まされていることを示唆している。 本稿では,新たな検索対話型言語モデルフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T01:16:04Z)
• A Survey on Self-Evolution of Large Language Models [116.54238664264928]
  大規模言語モデル(LLM)は、様々な分野やインテリジェントエージェントアプリケーションにおいて大きく進歩している。 この問題に対処するために、LLMが自律的に獲得し、洗練し、モデル自身によって生成された経験から学ぶことができる自己進化的アプローチが急速に成長している。
  論文  参考訳（メタデータ） (2024-04-22T17:43:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
  大規模言語モデル(LLM)は、大量の世界の知識を符号化する。 我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。 ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
  論文  参考訳（メタデータ） (2023-05-18T14:20:32Z)
• MetaTKG: Learning Evolutionary Meta-Knowledge for Temporal Knowledge Graph Reasoning [23.690981770829282]
  本稿では,TKG推論のための時間的メタラーニングフレームワークMetaTKGを提案する。 具体的には、TKG予測を多くの時間的メタタスクとみなし、設計した時間的メタラーナーを用いて、これらのメタタスクから進化的メタ知識を学習する。 提案手法は,学習したメタ知識によって,将来的なデータに迅速に適応し,ほとんど歴史情報を持たないエンティティに対処するために,バックボーンを指導することを目的としている。
  論文  参考訳（メタデータ） (2023-02-02T05:55:41Z)
• Towards Continual Knowledge Learning of Language Models [11.000501711652829]
  大規模言語モデル(LM)は、膨大な量のWebコーパスで事前訓練を行う際に、そのパラメータで世界の知識を符号化することが知られている。 実世界のシナリオでは、LMに格納されている世界知識は、世界が変化するにつれて急速に時代遅れになる。 継続知識学習(CKL)と呼ばれる新しい継続学習(CL)問題を定式化する。
  論文  参考訳（メタデータ） (2021-10-07T07:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。