論文の概要: The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs

• arxiv url: http://arxiv.org/abs/2402.01453v1
• Date: Fri, 2 Feb 2024 14:42:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-05 14:49:42.715403
• Title: The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs
• Title（参考訳）: イングランド女王はイングランドの女王ではない: PLMにおける実質的一貫性の欠如について
• Authors: Paul Youssef, J\"org Schl\"otterer, Christin Seifert
• Abstract要約: プレトレーニング言語モデル(PLM)に符号化された実知識は、それらの表現を豊かにし、知識ベースとしての使用を正当化する。 これまでの研究は、被験者と関係が与えられたオブジェクトエンティティを正確に予測できる頻度を測定することによって、事実知識のためのPLMの探索に重点を置いてきた。 本研究では、PLMにおける事実的知識の一貫性、すなわち、オブジェクトエンティティの初期予測から、PLMが対象エンティティをどの程度の頻度で予測できるかという相補的な側面について考察する。
• 参考スコア（独自算出の注目度）: 2.9443699603751536
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Factual knowledge encoded in Pre-trained Language Models (PLMs) enriches their representations and justifies their use as knowledge bases. Previous work has focused on probing PLMs for factual knowledge by measuring how often they can correctly predict an object entity given a subject and a relation, and improving fact retrieval by optimizing the prompts used for querying PLMs. In this work, we consider a complementary aspect, namely the coherency of factual knowledge in PLMs, i.e., how often can PLMs predict the subject entity given its initial prediction of the object entity. This goes beyond evaluating how much PLMs know, and focuses on the internal state of knowledge inside them. Our results indicate that PLMs have low coherency using manually written, optimized and paraphrased prompts, but including an evidence paragraph leads to substantial improvement. This shows that PLMs fail to model inverse relations and need further enhancements to be able to handle retrieving facts from their parameters in a coherent manner, and to be considered as knowledge bases.
• Abstract（参考訳）: 事前学習言語モデル(plm)にエンコードされた事実知識は、それらの表現を豊かにし、知識ベースとしての使用を正当化する。 従来の研究は、対象物と関係物とを正確に予測できる頻度を測定し、PLMのクエリに使用するプロンプトを最適化することで、事実検索を改善することで、事実知識のためのPLMの探索に重点を置いてきた。 本研究では,PLMにおける事実的知識の一貫性,すなわちPLMが対象エンティティの初期予測からどの程度の頻度で対象エンティティを予測することができるのかという相補的な側面を考察する。 これはplmがどれだけ知っているかを評価するだけでなく、内部の知識の内部状態にも焦点を当てる。 以上の結果から,plmは手書き,最適化,パラフレッシュプロンプトを用いたコヒーレンシが低いが,エビデンス段落を含めれば相当な改善が期待できることがわかった。 このことは、PLMが逆関係のモデル化に失敗し、コヒーレントな方法でパラメータから事実を抽出し、知識ベースと見なすためにさらなる拡張が必要であることを示している。

関連論文リスト

• Enhancing Fact Retrieval in PLMs through Truthfulness [2.722191152967056]
  事前訓練された言語モデル(PLM)は、文中の次の単語または欠落単語を予測するために訓練される前訓練段階における世界に関する様々な事実を符号化する。 近年の研究では、PLMの隠れ状態を利用して、PLMの入力の真性を決定することが示されている。 本研究では,ファクト検索を改善するためのヘルパーモデルについて検討する。
  論文  参考訳（メタデータ） (2024-10-17T14:00:13Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models [2.3981254787726067]
  事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T11:57:13Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling [34.59678835272862]
  代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。 本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。 KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2023-06-20T12:21:06Z)
• How Does Pretraining Improve Discourse-Aware Translation? [41.20896077662125]
  本稿では,事前学習した言語モデルが会話関係の知識を捉える能力を理解するための探索タスクを提案する。 我々は、エンコーダ-、デコーダ-、およびエンコーダ-デコーダ-ベースモデルの3つの最先端PLMを検証する。 本研究は, PLMにおける言論的知識が下流作業にどのように機能するか, どのように機能するかを理解するための指導的手法である。
  論文  参考訳（メタデータ） (2023-05-31T13:36:51Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Pre-training Language Models with Deterministic Factual Knowledge [42.812774794720895]
  我々は, PLM が残りのコンテキストとマスキングコンテンツとの間にある決定論的関係を学習させることを提案する。 2つの事前学習タスクを導入し、マスクを充填する際の決定論的関係に依存するようにPLMを動機付けている。 実験により, PLMは実知識の収集において, 良好な堅牢性が得られることが示された。
  論文  参考訳（メタデータ） (2022-10-20T11:04:09Z)
• Can Pretrained Language Models (Yet) Reason Deductively? [72.9103833294272]
  PLMの学習可能な推論能力(明示的推論能力)を総合的に評価する。 本研究の主目的は, PLMがまだ信頼性の高い導出的推論を行うことができないことである。 PLMは人間レベルの推論能力からは程遠いことがわかりました。
  論文  参考訳（メタデータ） (2022-10-12T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。