論文の概要: An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering

• arxiv url: http://arxiv.org/abs/2303.10368v1
• Date: Sat, 18 Mar 2023 08:57:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 19:57:05.403722
• Title: An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering
• Title（参考訳）: 単純なナレッジグラフ質問応答における事前学習言語モデルの実証的研究
• Authors: Nan Hu, Yike Wu, Guilin Qi, Dehai Min, Jiaoyan Chen, Jeff Z. Pan and Zafar Ali
• Abstract要約: 大規模事前学習型言語モデル(PLM)は、最近大きな成功を収め、自然言語処理(NLP)のマイルストーンとなった。 近年、知識グラフ質問応答 (KGQA) の研究において、BERT やその変種は KGQA モデルにおいて必要となっている。 我々は、KGQAにおける異なるPLMの性能を比較し、より大規模なKGに対する3つのベンチマークを示す。
• 参考スコア（独自算出の注目度）: 28.31377197194905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pre-trained language models (PLMs) such as BERT have recently achieved great success and become a milestone in natural language processing (NLP). It is now the consensus of the NLP community to adopt PLMs as the backbone for downstream tasks. In recent works on knowledge graph question answering (KGQA), BERT or its variants have become necessary in their KGQA models. However, there is still a lack of comprehensive research and comparison of the performance of different PLMs in KGQA. To this end, we summarize two basic KGQA frameworks based on PLMs without additional neural network modules to compare the performance of nine PLMs in terms of accuracy and efficiency. In addition, we present three benchmarks for larger-scale KGs based on the popular SimpleQuestions benchmark to investigate the scalability of PLMs. We carefully analyze the results of all PLMs-based KGQA basic frameworks on these benchmarks and two other popular datasets, WebQuestionSP and FreebaseQA, and find that knowledge distillation techniques and knowledge enhancement methods in PLMs are promising for KGQA. Furthermore, we test ChatGPT, which has drawn a great deal of attention in the NLP community, demonstrating its impressive capabilities and limitations in zero-shot KGQA. We have released the code and benchmarks to promote the use of PLMs on KGQA.
• Abstract（参考訳）: BERTのような大規模事前学習型言語モデル(PLM)は、最近大きな成功を収め、自然言語処理(NLP)のマイルストーンとなった。 現在、下流タスクのバックボーンとしてPLMを採用することは、NLPコミュニティのコンセンサスとなっている。 近年、知識グラフ質問応答 (KGQA) の研究において、BERT やその変種は KGQA モデルにおいて必要となっている。 しかしながら、KGQAにおける異なるPLMの性能に関する総合的な研究や比較はいまだに存在しない。 そこで本研究では,ニューラルネットワークモジュールを付加することなく,plmに基づく2つの基本的なkgqaフレームワークをまとめ,精度と効率の観点から9つのplmの性能を比較する。 さらに,PLMのスケーラビリティを検討するために,人気のあるSimpleQuestionsベンチマークに基づく大規模KGのベンチマークを3つ提示する。 我々はこれらのベンチマークと他の2つの一般的なデータセットであるWebQuestionSPとFreebaseQAに関する全てのPLMベースのKGQA基本フレームワークの結果を慎重に分析し、PLMにおける知識蒸留技術と知識向上手法がKGQAに有望であることを示す。 さらに我々は、NLPコミュニティで注目されているChatGPTをテストし、ゼロショットKGQAにおけるその印象的な機能と制限を実証した。 我々は、KGQA上でのPLMの使用を促進するためのコードとベンチマークをリリースした。

関連論文リスト

• KG-FPQ: Evaluating Factuality Hallucination in LLMs with Knowledge Graph-based False Premise Questions [19.246385485678104]
  大規模言語モデル(LLM)は、誤った前提問題(FPQ)によって誤解されるおそれがある。 知識グラフ(KG)に基づいたFPQを作成するための,自動化されたスケーラブルなパイプラインを導入する。 本稿では,知識グラフに基づくFalse Premise Questions (KG-FPQ) のベンチマークについて述べる。
  論文  参考訳（メタデータ） (2024-07-08T12:31:03Z)
• Leveraging Large Language Models for Concept Graph Recovery and Question Answering in NLP Education [14.908333207564574]
  大規模言語モデル(LLM)は、テキスト生成タスクにおいて有望であることを示す。 本研究は,概念グラフの回復と質問応答(QA)に焦点を当てる。 TutorQAタスクでは、LLMは最大26%のF1スコア向上を達成する。
  論文  参考訳（メタデータ） (2024-02-22T05:15:27Z)
• KG-Agent: An Efficient Autonomous Agent Framework for Complex Reasoning over Knowledge Graph [134.8631016845467]
  我々は、KG-Agentと呼ばれる自律LLMベースのエージェントフレームワークを提案する。 KG-Agentでは、LLM、多機能ツールボックス、KGベースのエグゼキュータ、知識メモリを統合する。 有効性を保証するため、プログラム言語を利用してKG上のマルチホップ推論プロセスを定式化する。
  論文  参考訳（メタデータ） (2024-02-17T02:07:49Z)
• ReasoningLM: Enabling Structural Subgraph Reasoning in Pre-trained Language Models for Question Answering over Knowledge Graph [142.42275983201978]
  本稿では,構造化推論を行うためのGNNを模倣するサブグラフ認識型自己認識機構を提案する。 また、モデルパラメータを2万のサブグラフで合成した質問に適応するための適応チューニング戦略も採用する。 実験により、ReasoningLMは、更新されたパラメータが少なく、トレーニングデータが少ない場合でも、最先端のモデルを大きなマージンで上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-30T07:18:54Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
  本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。 本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
  論文  参考訳（メタデータ） (2023-10-18T00:20:50Z)
• Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models [76.52997424694767]
  キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。 Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。 本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
  論文  参考訳（メタデータ） (2023-10-10T07:34:45Z)
• FlexKBQA: A Flexible LLM-Powered Framework for Few-Shot Knowledge Base Question Answering [16.88132219032486]
  手動のアノテーションに関連する負担を軽減するためにFlexKBQAを導入します。 我々はLarge Language Models (LLM) を,KBQAタスクに固有の課題に対処するためのプログラムトランスレータとして活用する。 具体的には、FlexKBQAは自動化アルゴリズムを利用して、知識ベースからSPARQLクエリなどの多様なプログラムをサンプリングする。 より難易度の高いゼロショットシナリオでさえも、FlexKBQAは、いくつかのアノテーションで印象的な結果を得ることができます。
  論文  参考訳（メタデータ） (2023-08-23T11:00:36Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。