論文の概要: Evaluating the Knowledge Base Completion Potential of GPT

• arxiv url: http://arxiv.org/abs/2310.14771v1
• Date: Mon, 23 Oct 2023 10:15:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 20:58:25.846593
• Title: Evaluating the Knowledge Base Completion Potential of GPT
• Title（参考訳）: GPTの知識ベース完成可能性の評価
• Authors: Blerta Veseli, Simon Razniewski, Jan-Christoph Kalo, Gerhard Weikum
• Abstract要約: GPT-3では、Wikidataを2700万の事実を90%の精度で拡張することができる。 適切なしきい値設定により、GPT-3 は Wikidata を 90% の精度で 2700万 の事実で拡張できることを示す。
• 参考スコア（独自算出の注目度）: 29.75708908603862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Structured knowledge bases (KBs) are an asset for search engines and other applications, but are inevitably incomplete. Language models (LMs) have been proposed for unsupervised knowledge base completion (KBC), yet, their ability to do this at scale and with high accuracy remains an open question. Prior experimental studies mostly fall short because they only evaluate on popular subjects, or sample already existing facts from KBs. In this work, we perform a careful evaluation of GPT's potential to complete the largest public KB: Wikidata. We find that, despite their size and capabilities, models like GPT-3, ChatGPT and GPT-4 do not achieve fully convincing results on this task. Nonetheless, they provide solid improvements over earlier approaches with smaller LMs. In particular, we show that, with proper thresholding, GPT-3 enables to extend Wikidata by 27M facts at 90% precision.
• Abstract（参考訳）: structured knowledge bases (kbs) は検索エンジンや他のアプリケーションのための資産であるが、必然的に不完全である。 言語モデル (LM) は非教師なし知識ベース補完 (KBC) のために提案されているが, 大規模かつ高精度に行う能力は未解決のままである。 以前の実験では、一般的な被験者のみを評価するか、KBから既に存在する事実をサンプリングするため、ほとんどが不足していた。 本稿では,GPT が最大の KB である Wikidata を完成させる可能性について,慎重に評価する。 GPT-3 や ChatGPT や GPT-4 のようなモデルでは,そのサイズや能力に拘わらず,この課題に対して完全に納得できる結果が得られていない。 それでも、より小さなlmsで、以前のアプローチよりも堅固な改善を提供する。 特に, GPT-3では, 適切なしきい値設定により, Wikidataを90%の精度で2700万事実まで拡張できることが示されている。

関連論文リスト

• GPTKB: Building Very Large Knowledge Bases from Language Models [15.276041443299905]
  我々は,大言語モデル(LLM)から大域的汎用KBを構築することを提案する。 プロトタイプとして、GPT-4o-miniを使用して、GPTKBを構築します。 NLPにとって、LLMの知識(または信念)に関するテキスト構築的な洞察を初めて提供する。
  論文  参考訳（メタデータ） (2024-11-07T17:57:03Z)
• Large Language Models as Reliable Knowledge Bases? [60.25969380388974]
  大きな言語モデル(LLM)は潜在的な知識ベース(KB)と見なすことができる。 本研究は、信頼性の高いLLM-as-KBが満たすべき基準を定義し、事実性と一貫性に焦点をあてる。 ICLや微調整のような戦略は、LLMをより良くKBにするには失敗している。
  論文  参考訳（メタデータ） (2024-07-18T15:20:18Z)
• Rank-without-GPT: Building GPT-Independent Listwise Rerankers on Open-Source Large Language Models [59.52207546810294]
  大型言語モデル(LLM)に基づくリストワイズリランカはゼロショットの最先端である。 本研究では,GPTに依存しないリストワイズリランカを初めて構築する。 GPT-3.5に基づくリストワイド・リランカを13%上回り, GPT-4をベースとしたリストワイド・リランカの97%の有効性を実現した。
  論文  参考訳（メタデータ） (2023-12-05T18:57:40Z)
• Large Language Models on Wikipedia-Style Survey Generation: an Evaluation in NLP Concepts [21.150221839202878]
  大規模言語モデル(LLM)は、様々な一般的なタスクで大きな成功を収めた。 本研究では,コンピュータ科学におけるNLPのニッチ分野に特有な簡潔な調査項目を生成する上で,LCMsの有効性について検討する。 人間の評価スコアとGPTによる評価スコアを比較し,詳細な分析を行った。
  論文  参考訳（メタデータ） (2023-08-21T01:32:45Z)
• DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models [92.6951708781736]
  本稿では,GPT-4とGPT-3.5に着目した大規模言語モデルの総合的信頼性評価を提案する。 GPTモデルは、有害で偏りのある出力を生成し、個人情報を漏らすために、容易に誤解され得る。 我々の研究は、GPTモデルの総合的な信頼性評価を示し、信頼性のギャップに光を当てている。
  論文  参考訳（メタデータ） (2023-06-20T17:24:23Z)
• Evaluating Language Models for Knowledge Base Completion [32.87131159997359]
  教師なし知識ベース補完(KBC)のための言語モデル(LM)が最近提案されている。 我々は,LMのKBCポテンシャルを現実的に評価するための,新しい,より挑戦的なベンチマークデータセットと方法論を導入する。 LMトレーニングにおいて,ほとんどの事実が直接観察されなかった関係においても,LMは驚くほど強い一般化能力を有することがわかった。
  論文  参考訳（メタデータ） (2023-03-20T13:14:59Z)
• Prompting GPT-3 To Be Reliable [117.23966502293796]
  この研究は信頼性を一般化可能性、公平性、校正性、事実性という4つの側面に分解する。 GPT-3はこれらすべての面において,より小型の教師付きモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-17T14:52:39Z)
• A Review on Language Models as Knowledge Bases [55.035030134703995]
  近年,知識ベース (KB) としての事前訓練言語モデル (LM) の利用に対する,NLPコミュニティへの関心が高まっている。
  論文  参考訳（メタデータ） (2022-04-12T18:35:23Z)
• Beyond I.I.D.: Three Levels of Generalization for Question Answering on Knowledge Bases [63.43418760818188]
  GrailQA.comは64,331の質問で、新しい大規模で高品質なデータセットをリリースしました。 BERTベースのKBQAモデルを提案する。 データセットとモデルの組み合わせにより、KBQAの一般化におけるBERTのような事前学習されたコンテキスト埋め込みの重要な役割を、初めて徹底的に検証し、実証することが可能になります。
  論文  参考訳（メタデータ） (2020-11-16T06:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。