論文の概要: Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases

• arxiv url: http://arxiv.org/abs/2106.09231v1
• Date: Thu, 17 Jun 2021 03:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-19 05:21:04.354712
• Title: Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases
• Title（参考訳）: 知識や教養のあるギース? 知識ベースとしての言語モデルの再検討
• Authors: Boxi Cao, Hongyu Lin, Xianpei Han, Le Sun, Lingyong Yan, Meng Liao, Tong Xue, Jin Xu
• Abstract要約: 事前トレーニングされたマスク付き言語モデル(MLM)BERTが、いくつかのデータセット上で競合する事実知識抽出を実現するためのリーク。 以上の結果から,現在の文献が信頼性のある事実知識基盤として機能する可能性があるという,これまでの結論に強く疑問が持たれた。
• 参考スコア（独自算出の注目度）: 27.449339109025967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous literatures show that pre-trained masked language models (MLMs) such as BERT can achieve competitive factual knowledge extraction performance on some datasets, indicating that MLMs can potentially be a reliable knowledge source. In this paper, we conduct a rigorous study to explore the underlying predicting mechanisms of MLMs over different extraction paradigms. By investigating the behaviors of MLMs, we find that previous decent performance mainly owes to the biased prompts which overfit dataset artifacts. Furthermore, incorporating illustrative cases and external contexts improve knowledge prediction mainly due to entity type guidance and golden answer leakage. Our findings shed light on the underlying predicting mechanisms of MLMs, and strongly question the previous conclusion that current MLMs can potentially serve as reliable factual knowledge bases.
• Abstract（参考訳）: 以前の文献では、BERTのような事前訓練されたマスク付き言語モデル(MLM)が、いくつかのデータセット上で競合する事実知識抽出性能を達成できることが示されており、MLMが信頼できる知識源になり得ることを示している。 本稿では,異なる抽出パラダイム上でのMDMの基本的な予測機構について,厳密な研究を行う。 MLMの振る舞いを調べることで、以前の適切なパフォーマンスは主にデータセットアーティファクトに適合する偏りのあるプロンプトに起因していることがわかった。 さらに,具体的事例と外部コンテキストを取り入れることで,主体型指導と黄金解答リークによる知識予測が向上する。 本研究は,MLMの基盤となる予測メカニズムに光を当て,現在のMLMが信頼性のある事実知識基盤として機能する可能性があるという過去の結論を強く疑うものである。

関連論文リスト

• Look Before You Decide: Prompting Active Deduction of MLLMs for Assumptive Reasoning [68.83624133567213]
  そこで本研究では,MLLMの最も普及している手法が,その問題に先入観を導入することで,容易に騙せることを示す。 また, モデルに対して, 合成推論を積極的に行うための, 単純かつ効果的な手法であるアクティブ推論(AD)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T15:53:27Z)
• Towards Modeling Learner Performance with Large Language Models [7.002923425715133]
  本稿では,LLMのパターン認識とシーケンスモデリング機能が,知識追跡の領域にまで拡張できるかどうかを検討する。 ゼロショットプロンプト(ゼロショットプロンプト)とモデル微調整(モデル微調整)の2つの手法と,既存のLLM以外の知識追跡手法を比較した。 LLMベースのアプローチは最先端のパフォーマンスを達成しないが、微調整のLLMは素早いベースラインモデルの性能を上回り、標準的なベイズ的知識追跡手法と同等に機能する。
  論文  参考訳（メタデータ） (2024-02-29T14:06:34Z)
• Quantitative knowledge retrieval from large language models [4.155711233354597]
  大規模言語モデル(LLM)は、説得力のある自然言語配列を生成する能力について広く研究されている。 本稿では,データ解析作業を支援するための定量的知識検索のメカニズムとして,LLMの実現可能性について検討する。
  論文  参考訳（メタデータ） (2024-02-12T16:32:37Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Measuring the Knowledge Acquisition-Utilization Gap in Pretrained Language Models [26.342351417963965]
  事前訓練された言語モデル(PLM)は、膨大な量の知識を取得する証拠を示している。 このパラメトリックな知識が、下流のタスクの実行に実際にどの程度使えるかは、まだ不明である。 PLMにおけるパラメトリック知識利用量を測定するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-05-24T06:26:11Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• MLMLM: Link Prediction with Mean Likelihood Masked Language Model [14.672283581769774]
  知識ベース(KB)は、クエリ、検証、解釈が容易である。 BERT などの Masked Models (MLM) は、計算能力と生のテキストデータとともにスケールする。 リンク予測を行うために異なるエンティティを生成する平均可能性を比較する手法として,平均的類似性マスケッド言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。