論文の概要: Measuring and Modifying Factual Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2306.06264v1
• Date: Fri, 9 Jun 2023 21:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 20:01:38.321296
• Title: Measuring and Modifying Factual Knowledge in Large Language Models
• Title（参考訳）: 大規模言語モデルにおけるファクチュアル知識の測定と修正
• Authors: Pouya Pezeshkpour
• Abstract要約: 大規模言語モデルは、膨大なテキストコレクションから得られた膨大な事実知識を格納する。 我々は,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。
• 参考スコア（独自算出の注目度）: 2.8427946758947304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) store an extensive amount of factual knowledge obtained from vast collections of text. To effectively utilize these models for downstream tasks, it is crucial to have reliable methods for measuring their knowledge. However, existing approaches for knowledge measurement have certain limitations, and despite recent efforts, they fail to provide accurate measurements and the necessary insights for modifying the knowledge within LLMs. In this work, we employ information theory-based measurements to provide a framework estimating the factual knowledge contained within large language models. More specifically, we measure knowledge by analyzing the LLM's prediction probability distribution before and after instilling the target knowledge, employing metrics such as entropy and KL-divergence. Introducing our metrics, we first assess their accuracy in comparison to previous ranking-based methods, surpassing them by over $35\%$ in a synthetic experiment. Then, we explore two prominent methods of knowledge instillation, discovering that LLMs exhibit limitations in capturing new knowledge under specific circumstances for one of these methods. Lastly, we demonstrate the applicability of our methods in extracting unlearned and mislearned facts in LLMs through their application to in-context learning. We make code and data for all methods and experiments in this paper publicly available.
• Abstract（参考訳）: 大規模言語モデル(LLM)は膨大なテキストコレクションから得られた膨大な事実知識を格納する。 これらのモデルを下流タスクに効果的に活用するためには、その知識を測定するための信頼性の高い方法が不可欠である。 しかし、既存の知識測定手法には一定の限界があり、近年の取り組みにもかかわらず、正確な測定やLLM内の知識の修正に必要な洞察を得られていない。 本研究では,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。 より具体的には、対象知識の注入前後におけるllmの予測確率分布を分析し、エントロピーやkl-divergenceなどの指標を用いて知識を測定する。 分析結果を紹介すると、まず、従来のランキングベースの手法と比較して、その正確性を評価し、合成実験で35ドル以上もする結果が得られた。 次に,これらの方法の特定の状況下では,llmが新たな知識の獲得に限界があることを発見した。 最後に,llmにおける非学習的事実と誤解された事実を,文脈内学習に応用して抽出する手法の適用性を示す。 この論文では、すべてのメソッドと実験のコードとデータを公開しています。

関連論文リスト

• To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
  大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。 知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。 未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
  論文  参考訳（メタデータ） (2024-07-02T03:34:16Z)
• Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction [15.534647327246239]
  大規模言語モデル(LLM)に埋め込まれた潜在知識を推定する手法を提案する。 我々は、LLMの文脈内学習能力を活用し、LLMが知識ベースに格納されている事実を知る範囲を推定する。
  論文  参考訳（メタデータ） (2024-04-19T15:40:39Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Enabling Large Language Models to Learn from Rules [99.16680531261987]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)
• Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models [2.3981254787726067]
  事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T11:57:13Z)
• Knowledge Editing for Large Language Models: A Survey [51.01368551235289]
  大規模言語モデル(LLM)の大きな欠点の1つは、事前学習に要する計算コストである。 知識に基づくモデル編集(KME)が注目を集めており、特定の知識を組み込むためにLLMを正確に修正することを目的としている。
  論文  参考訳（メタデータ） (2023-10-24T22:18:13Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models [26.342351417963965]
  事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。 このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。 PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:26:11Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。