論文の概要: LLMs as Repositories of Factual Knowledge: Limitations and Solutions

• arxiv url: http://arxiv.org/abs/2501.12774v1
• Date: Wed, 22 Jan 2025 10:16:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:30:12.126722
• Title: LLMs as Repositories of Factual Knowledge: Limitations and Solutions
• Title（参考訳）: ファクチュアル知識のリポジトリとしてのLCM:限界と解決策
• Authors: Seyed Mahed Mousavi, Simone Alghisi, Giuseppe Riccardi,
• Abstract要約: 本研究では,事実知識のリポジトリとしてのLarge Language Models(LLMs)の妥当性について検討する。 時間に敏感な事実質問に応答する際の信頼性を評価する。 本稿では,モデルの性能向上を図るため,ENAF(ENtity-Aware Fine-tuning)を提案する。
• 参考スコア（独自算出の注目度）: 1.7764955091415962
• License:
• Abstract: LLMs' sources of knowledge are data snapshots containing factual information about entities collected at different timestamps and from different media types (e.g. wikis, social media, etc.). Such unstructured knowledge is subject to change due to updates through time from past to present. Equally important are the inconsistencies and inaccuracies occurring in different information sources. Consequently, the model's knowledge about an entity may be perturbed while training over the sequence of snapshots or at inference time, resulting in inconsistent and inaccurate model performance. In this work, we study the appropriateness of Large Language Models (LLMs) as repositories of factual knowledge. We consider twenty-four state-of-the-art LLMs that are either closed-, partially (weights), or fully (weight and training data) open-source. We evaluate their reliability in responding to time-sensitive factual questions in terms of accuracy and consistency when prompts are perturbed. We further evaluate the effectiveness of state-of-the-art methods to improve LLMs' accuracy and consistency. We then propose "ENtity-Aware Fine-tuning" (ENAF), a soft neurosymbolic approach aimed at providing a structured representation of entities during fine-tuning to improve the model's performance.
• Abstract（参考訳）: LLMの知識源は、異なるタイムスタンプおよび異なるメディアタイプ(例えばwiki、ソーシャルメディアなど)から収集されたエンティティに関する事実情報を含むデータスナップショットである。 このような構造化されていない知識は、過去から現在までの更新によって変更される。 同様に重要なことは、異なる情報ソースで発生する矛盾と不正確さである。 結果として、エンティティに関するモデルの知識は、スナップショットのシーケンスや推論時間のトレーニング中に混乱し、一貫性が無く不正確なモデルパフォーマンスをもたらす可能性がある。 本研究では,事実知識のリポジトリとして大規模言語モデル(LLM)の妥当性を検討する。 クローズド、部分的に(重み)、あるいは完全な(重み付きおよびトレーニングデータ)オープンソースである24の最先端のLCMについて検討する。 我々は,プロンプトが乱れた場合の精度と一貫性の観点から,時間に敏感な事実質問に応答する際の信頼性を評価する。 LLMの精度と整合性を改善するための最先端手法の有効性をさらに評価する。 次に、モデルの性能を向上させるために、ファインチューニング中に実体の構造的表現を提供することを目的としたソフト・ニューロシンボリック・アプローチ「ENAF(ENtity-Aware Fine-tuning)」を提案する。

関連論文リスト

• Understanding Knowledge Drift in LLMs through Misinformation [11.605377799885238]
  大規模言語モデル(LLM)は多くのアプリケーションに革命をもたらしました。 我々は,QnAシナリオで誤情報に遭遇した場合に,現状のLCMの事実的不正確性に対する感受性を解析する。 実験の結果,LLMの不確実性が56.6%まで増加することが判明した。
  論文  参考訳（メタデータ） (2024-09-11T08:11:16Z)
• To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity [27.10502683001428]
  本稿では, 実体型あいまいさに着目し, 不明瞭な実体を刺激した場合の事実知識の適用において, 最先端のLCMの習熟度と一貫性を解析する。 実験の結果、LLMは正しいエンティティの読み取りを選択するのに苦労し、平均精度は85%、未特定のプロンプトで75%と低いことがわかった。
  論文  参考訳（メタデータ） (2024-07-24T09:48:48Z)
• DyKnow: Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
  本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。 筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。 以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T18:08:59Z)
• LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
  言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。 文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。 この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
  論文  参考訳（メタデータ） (2024-04-09T13:08:56Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Propagating Knowledge Updates to LMs Through Distillation [97.3628651636153]
  文脈に基づくアプローチは、エンティティに関する知識を付与し、その知識を広めてより広範な推論を可能にすることができることを示す。 実験により,本手法は,微調整や他の勾配に基づく知識編集手法よりも,知識更新の伝播に有効であることが実証された。
  論文  参考訳（メタデータ） (2023-06-15T17:39:50Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。