論文の概要: Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation
- arxiv url: http://arxiv.org/abs/2310.08395v3
- Date: Mon, 23 Oct 2023 07:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 11:45:05.802871
- Title: Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation
- Title（参考訳）: 知識ベース質問生成のための連鎖型大規模言語モデルの提案
- Authors: Yuanyuan Liang, Jianing Wang, Hanlun Zhu, Lei Wang, Weining Qian,
Yunshi Lan
- Abstract要約: 知識ベースに関する質問生成(KBQG)は、論理形式を自然言語の質問に変換することを目的としている。
推論のためのコンテキスト内学習戦略であるChain-of-Thoughtプロンプトを提案する。
3つのKBQGデータセットに対して広範な実験を行う。
- 参考スコア（独自算出の注目度）: 19.327008532572645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The task of Question Generation over Knowledge Bases (KBQG) aims to convert a
logical form into a natural language question. For the sake of expensive cost
of large-scale question annotation, the methods of KBQG under low-resource
scenarios urgently need to be developed. However, current methods heavily rely
on annotated data for fine-tuning, which is not well-suited for few-shot
question generation. The emergence of Large Language Models (LLMs) has shown
their impressive generalization ability in few-shot tasks. Inspired by
Chain-of-Thought (CoT) prompting, which is an in-context learning strategy for
reasoning, we formulate KBQG task as a reasoning problem, where the generation
of a complete question is splitted into a series of sub-question generation.
Our proposed prompting method KQG-CoT first retrieves supportive logical forms
from the unlabeled data pool taking account of the characteristics of the
logical form. Then, we write a prompt to explicit the reasoning chain of
generating complicated questions based on the selected demonstrations. To
further ensure prompt quality, we extend KQG-CoT into KQG-CoT+ via sorting the
logical forms by their complexity. We conduct extensive experiments over three
public KBQG datasets. The results demonstrate that our prompting method
consistently outperforms other prompting baselines on the evaluated datasets.
Remarkably, our KQG-CoT+ method could surpass existing few-shot SoTA results of
the PathQuestions dataset by 18.25, 10.72, and 10.18 absolute points on BLEU-4,
METEOR, and ROUGE-L, respectively.
- Abstract（参考訳）: 知識ベースに関する質問生成タスク(KBQG)は、論理形式を自然言語質問に変換することを目的としている。
大規模質問注記の費用がかかるため、低リソースシナリオにおけるkbqgの手法を緊急に開発する必要がある。
しかし、現在の手法は微調整のための注釈データに大きく依存しており、わずかな質問生成には適していない。
大規模言語モデル(llm)の出現は、わずかなタスクでその印象的な一般化能力を示している。
推論のための文脈内学習戦略であるChain-of-Thought(CoT)にインスパイアされ、KBQGタスクを推論問題として定式化し、完全な質問の生成を一連のサブクエスト生成に分割する。
提案手法であるkqg-cotは,まず,論理形式の特徴を考慮したラベルなしデータプールから支援論理形式を検索する。
次に,選択した実演に基づいて複雑な質問を生成する推論連鎖を明示するプロンプトを記述する。
さらに迅速な品質を確保するため、KQG-CoTをKQG-CoT+に拡張する。
3つのKBQGデータセットに対して広範な実験を行う。
その結果,提案手法は評価されたデータセット上での他のプロンプトベースラインよりも一貫して優れていた。
注目すべきことに、我々のKQG-CoT+法は、それぞれBLEU-4、METEOR、ROUGE-L上の18.25、10.72、および10.18の絶対点の既存の数発のSoTA結果を上回る可能性がある。
関連論文リスト
- ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する
既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。
優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文 参考訳（メタデータ） (2024-03-21T11:34:26Z) - Interactive-KBQA: Multi-Turn Interactions for Knowledge Base Question Answering with Large Language Models [7.399563588835834]
Interactive-KBQAは知識ベース(KB)との直接インタラクションを通じて論理形式を生成するように設計されたフレームワークである
提案手法は,WebQuestionsSP, ComplexWebQuestions, KQA Pro, MetaQAデータセット上での競合結果を実現する。
論文 参考訳（メタデータ） (2024-02-23T06:32:18Z) - ChatKBQA: A Generate-then-Retrieve Framework for Knowledge Base Question Answering with Fine-tuned Large Language Models [19.85526116658481]
本稿では,新規かつ簡易な生成検索KBQAフレームワークであるChatKBQAを紹介する。
実験の結果,ChatKBQAは標準KBQAデータセット上で新たな最先端性能を実現することがわかった。
この研究は、LLMと知識グラフを組み合わせるための新しいパラダイムとして、解釈可能および知識要求型質問応答のパラダイムと見なすこともできる。
論文 参考訳（メタデータ） (2023-10-13T09:45:14Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2023-05-26T14:59:53Z) - HPE:Answering Complex Questions over Text by Hybrid Question Parsing and
Execution [92.69684305578957]
テキストQAにおける質問解析と実行の枠組みを提案する。
提案したフレームワークは、トップダウンの質問パースとして、ボトムアップの回答バックトラックとみなすことができる。
MuSiQue,2WikiQA,HotpotQA,およびNQに関する実験により,提案した解析およびハイブリッド実行フレームワークが,教師付き,少数ショット,ゼロショット設定における既存のアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2023-05-12T22:37:06Z) - UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question
Answering Over Knowledge Graph [89.98762327725112]
KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。
我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
論文 参考訳（メタデータ） (2022-12-02T04:08:09Z) - Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge
Base and Database [86.03294330305097]
知識ベース(KB)とデータベース(DB)の両方で質問応答(QA)を統一した意味的要素を提案する。
フレームワークに不可欠な要素としてプリミティブ(KBのリレーションとエンティティ、テーブル名、列名、DBのセル値)を導入します。
生成元を利用して、異なる操作でトップランクプリミティブを変更・構成することで、最終的な論理形式を予測する。
論文 参考訳（メタデータ） (2022-11-09T19:33:27Z) - Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。
提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
論文 参考訳（メタデータ） (2022-02-22T01:34:35Z) - Calculating Question Similarity is Enough:A New Method for KBQA Tasks [8.056701645706404]
本稿では、事前学習言語モデル(PLM)と知識グラフ(KG)を用いたコーパス生成-検索手法(CGRM)を提案する。
まず,mT5モデルに基づいて,知識マスキング言語モデリングと質問生成という2つの新しい事前学習タスクを設計した。
第2に、一連のルールで知識グラフのトリプルを前処理した後、kT5モデルは、処理されたトリプルに基づいて自然言語QAペアを生成する。
論文 参考訳（メタデータ） (2021-11-15T10:31:46Z) - EQG-RACE: Examination-Type Question Generation [21.17100754955864]
本論文では, RACEから抽出したデータセットをもとに, 試験型質問生成手法 (EQG-RACE) を提案する。
EQG-RACEでは、離散的な回答情報を扱うための2つの主要な戦略と、長い文脈における推論が採用されています。
実験結果は、ベースラインよりも優れたEQG-RACEの最先端の性能を示しています。
論文 参考訳（メタデータ） (2020-12-11T03:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。