論文の概要: Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2310.16570v2
• Date: Mon, 4 Dec 2023 19:23:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 19:07:56.940907
• Title: Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models
• Title（参考訳）: 事実を教えてくれ! 事前学習型言語モデルにおけるFactual Knowledge Probingの検討
• Authors: Paul Youssef, Osman Alperen Kora\c{s}, Meijie Li, J\"org Schl\"otterer, Christin Seifert
• Abstract要約: 事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
• 参考スコア（独自算出の注目度）: 2.3981254787726067
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pre-trained Language Models (PLMs) are trained on vast unlabeled data, rich in world knowledge. This fact has sparked the interest of the community in quantifying the amount of factual knowledge present in PLMs, as this explains their performance on downstream tasks, and potentially justifies their use as knowledge bases. In this work, we survey methods and datasets that are used to probe PLMs for factual knowledge. Our contributions are: (1) We propose a categorization scheme for factual probing methods that is based on how their inputs, outputs and the probed PLMs are adapted; (2) We provide an overview of the datasets used for factual probing; (3) We synthesize insights about knowledge retention and prompt optimization in PLMs, analyze obstacles to adopting PLMs as knowledge bases and outline directions for future work.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 この事実は、下流のタスクにおけるパフォーマンスを説明し、知識ベースとしての使用を正当化するため、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,事実知識のためのplmを探索する手法とデータセットを調査した。 本研究は,(1) 事実探索手法の分類手法を提案し,その入力,出力,探索されたPLMの適応方法,(2) 事実探索に使用されるデータセットの概要,(3) 知識保持とPLMの迅速な最適化に関する知見を整理し, PLMを知識ベースとして採用するための障害を分析し,今後の作業の方向性を概説する。

関連論文リスト

• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [75.78948575957081]
  大規模言語モデル(LLM)は通常、知識材料を瞬時に活用するために、検索強化世代に依存している。 本稿では,知識ベースを含む下流タスクへの効率的な適応を目的としたKBAlignを提案する。 提案手法は,Q&Aペアやリビジョン提案などの自己注釈付きデータを用いて反復学習を行い,モデルが知識内容を効率的に把握できるようにする。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• Enhancing Fact Retrieval in PLMs through Truthfulness [2.722191152967056]
  事前訓練された言語モデル(PLM)は、文中の次の単語または欠落単語を予測するために訓練される前訓練段階における世界に関する様々な事実を符号化する。 近年の研究では、PLMの隠れ状態を利用して、PLMの入力の真性を決定することが示されている。 本研究では,ファクト検索を改善するためのヘルパーモデルについて検討する。
  論文  参考訳（メタデータ） (2024-10-17T14:00:13Z)
• The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs [2.9443699603751536]
  プレトレーニング言語モデル(PLM)に符号化された実知識は、それらの表現を豊かにし、知識ベースとしての使用を正当化する。 これまでの研究は、被験者と関係が与えられたオブジェクトエンティティを正確に予測できる頻度を測定することによって、事実知識のためのPLMの探索に重点を置いてきた。 本研究では、PLMにおける事実的知識の一貫性、すなわち、オブジェクトエンティティの初期予測から、PLMが対象エンティティをどの程度の頻度で予測できるかという相補的な側面について考察する。
  論文  参考訳（メタデータ） (2024-02-02T14:42:09Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Measuring and Modifying Factual Knowledge in Large Language Models [2.8427946758947304]
  大規模言語モデルは、膨大なテキストコレクションから得られた膨大な事実知識を格納する。 我々は,情報理論に基づく測度を用いて,大規模言語モデルに含まれる事実知識を推定する枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-09T21:25:48Z)
• Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models [26.342351417963965]
  事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。 このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。 PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:26:11Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
  我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
  論文  参考訳（メタデータ） (2022-11-11T04:29:02Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)
• Knowledgeable Salient Span Mask for Enhancing Language Models as Knowledge Base [51.55027623439027]
  我々は、モデルが構造化されていないテキストから、完全に自己教師された方法でより多くの知識を学習するのを助ける2つのソリューションを開発する。 最高の知識を得るために、私たちは、継続的事前学習における知識の完全な自己教師型学習を初めて探求します。
  論文  参考訳（メタデータ） (2022-04-17T12:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。