論文の概要: Enhancing Fact Retrieval in PLMs through Truthfulness

• arxiv url: http://arxiv.org/abs/2410.13562v1
• Date: Thu, 17 Oct 2024 14:00:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:05.162816
• Title: Enhancing Fact Retrieval in PLMs through Truthfulness
• Title（参考訳）: 真さによるPLMのFact Retrieval向上
• Authors: Paul Youssef, Jörg Schlötterer, Christin Seifert,
• Abstract要約: 事前訓練された言語モデル(PLM)は、文中の次の単語または欠落単語を予測するために訓練される前訓練段階における世界に関する様々な事実を符号化する。 近年の研究では、PLMの隠れ状態を利用して、PLMの入力の真性を決定することが示されている。 本研究では,ファクト検索を改善するためのヘルパーモデルについて検討する。
• 参考スコア（独自算出の注目度）: 2.722191152967056
• License:
• Abstract: Pre-trained Language Models (PLMs) encode various facts about the world at their pre-training phase as they are trained to predict the next or missing word in a sentence. There has a been an interest in quantifying and improving the amount of facts that can be extracted from PLMs, as they have been envisioned to act as soft knowledge bases, which can be queried in natural language. Different approaches exist to enhance fact retrieval from PLM. Recent work shows that the hidden states of PLMs can be leveraged to determine the truthfulness of the PLMs' inputs. Leveraging this finding to improve factual knowledge retrieval remains unexplored. In this work, we investigate the use of a helper model to improve fact retrieval. The helper model assesses the truthfulness of an input based on the corresponding hidden states representations from the PLMs. We evaluate this approach on several masked PLMs and show that it enhances fact retrieval by up to 33\%. Our findings highlight the potential of hidden states representations from PLMs in improving their factual knowledge retrieval.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、文中の次の単語または欠落単語を予測するために訓練される前訓練段階における世界に関する様々な事実を符号化する。 PLMから抽出できる事実の定量化と改善に関心があり、自然言語で検索できるソフトナレッジベースとして機能することが想定されている。 PLMからの事実検索を強化するために、異なるアプローチが存在する。 近年の研究では、PLMの隠れ状態を利用して、PLMの入力の真性を決定することが示されている。 事実知識の検索を改善するためにこの発見を活用することは、まだ未解明である。 本研究では,ファクト検索を改善するためのヘルパーモデルについて検討する。 ヘルパーモデルは、PLMからの対応する隠れ状態表現に基づいて入力の真偽を評価する。 本手法をいくつかのマスク付きPLMで評価し, 事実検索を最大33倍に向上させることを示す。 本研究は, PLMからの隠れ状態表現が, 知識検索の改善に有効であることを示すものである。

関連論文リスト

• What Matters in Memorizing and Recalling Facts? Multifaceted Benchmarks for Knowledge Probing in Language Models [15.057992220389604]
  言語モデルは事実の知識を扱うのに苦労し、事実の幻覚の問題を呈する。 本稿では,エンコーダとデコーダを用いた事前学習言語モデルの知識リコール能力を評価するための知識探索ベンチマークBELIEF(ICL)を提案する。 非常に多様なプロンプトを持つMyriadLAMAを半自動で作成します。
  論文  参考訳（メタデータ） (2024-06-18T05:11:35Z)
• Is Factuality Enhancement a Free Lunch For LLMs? Better Factuality Can Lead to Worse Context-Faithfulness [39.74642729786543]
  我々は、現在の事実性向上手法は、大規模言語モデル(LLM)の文脈忠実性を著しく損なう可能性があると論じている。 実験の結果、これらの手法は事実の正確性に矛盾する改善をもたらす可能性があるが、文脈不信感の低下も引き起こすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-30T02:08:28Z)
• The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs [2.9443699603751536]
  プレトレーニング言語モデル(PLM)に符号化された実知識は、それらの表現を豊かにし、知識ベースとしての使用を正当化する。 これまでの研究は、被験者と関係が与えられたオブジェクトエンティティを正確に予測できる頻度を測定することによって、事実知識のためのPLMの探索に重点を置いてきた。 本研究では、PLMにおける事実的知識の一貫性、すなわち、オブジェクトエンティティの初期予測から、PLMが対象エンティティをどの程度の頻度で予測できるかという相補的な側面について考察する。
  論文  参考訳（メタデータ） (2024-02-02T14:42:09Z)
• Give Me the Facts! A Survey on Factual Knowledge Probing in Pre-trained Language Models [2.3981254787726067]
  事前訓練された言語モデル(PLM)は、世界知識に富んだ膨大なラベルのないデータに基づいて訓練されている。 このことが、PLMに存在する事実知識の量を定量化するコミュニティの関心を喚起した。 本研究では,PLMの実態を調査するための手法とデータセットについて検討する。
  論文  参考訳（メタデータ） (2023-10-25T11:57:13Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Do Large Language Models Know about Facts? [60.501902866946]
  大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。 我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。 Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
  論文  参考訳（メタデータ） (2023-10-08T14:26:55Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• ElitePLM: An Empirical Study on General Language Ability Evaluation of Pretrained Language Models [78.08792285698853]
  本稿では,事前学習型言語モデル(ElitePLM)の汎用言語能力評価に関する大規模実証的研究について述べる。 実験の結果,(1)訓練対象の異なるPLMは異なる能力試験に適しており,(2)下流タスクの微調整PLMはデータサイズや分布に敏感であり,(3)PLMは類似タスク間の転送性に優れていた。
  論文  参考訳（メタデータ） (2022-05-03T14:18:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。