論文の概要: Harnessing the Power of Prompt-based Techniques for Generating
School-Level Questions using Large Language Models
- arxiv url: http://arxiv.org/abs/2312.01032v1
- Date: Sat, 2 Dec 2023 05:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-05 19:41:44.436670
- Title: Harnessing the Power of Prompt-based Techniques for Generating
School-Level Questions using Large Language Models
- Title（参考訳）: 大規模言語モデルを用いた学校レベルの質問生成のためのプロンプトベース手法の活用
- Authors: Subhankar Maity, Aniket Deroy, Sudeshna Sarkar
- Abstract要約: 本稿では,プロンプトベースの手法を用いて記述的および推論的質問を生成する手法を提案する。
我々は,NCERT教科書のリッチコンテンツを活用することで,学校レベルの課題を対象とした新しいQGデータセットEduProbeをキュレートする。
変換器をベースとした大規模言語モデルを用いて,いくつかのプロンプトベースのQG手法について検討する。
- 参考スコア（独自算出の注目度）: 0.5459032912385802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Designing high-quality educational questions is a challenging and
time-consuming task. In this work, we propose a novel approach that utilizes
prompt-based techniques to generate descriptive and reasoning-based questions.
However, current question-answering (QA) datasets are inadequate for conducting
our experiments on prompt-based question generation (QG) in an educational
setting. Therefore, we curate a new QG dataset called EduProbe for school-level
subjects, by leveraging the rich content of NCERT textbooks. We carefully
annotate this dataset as quadruples of 1) Context: a segment upon which the
question is formed; 2) Long Prompt: a long textual cue for the question (i.e.,
a longer sequence of words or phrases, covering the main theme of the context);
3) Short Prompt: a short textual cue for the question (i.e., a condensed
representation of the key information or focus of the context); 4) Question: a
deep question that aligns with the context and is coherent with the prompts. We
investigate several prompt-based QG methods by fine-tuning pre-trained
transformer-based large language models (LLMs), namely PEGASUS, T5, MBART, and
BART. Moreover, we explore the performance of two general-purpose pre-trained
LLMs such as Text-Davinci-003 and GPT-3.5-Turbo without any further training.
By performing automatic evaluation, we show that T5 (with long prompt)
outperforms all other models, but still falls short of the human baseline.
Under human evaluation criteria, TextDavinci-003 usually shows better results
than other models under various prompt settings. Even in the case of human
evaluation criteria, QG models mostly fall short of the human baseline. Our
code and dataset are available at: https://github.com/my625/PromptQG
- Abstract（参考訳）: 高品質な教育問題の設計は困難で時間を要する作業です。
本研究では,プロンプトベースの手法を用いて記述的および推論的質問を生成する手法を提案する。
しかし、現状のQAデータセットは、教育環境でのプロンプトベースの質問生成(QG)に関する実験を行うには不十分である。
そこで我々は,NCERT教科書のリッチコンテンツを活用することで,学校レベルの課題を対象とした新しいQGデータセットEduProbeをキュレートする。
このデータセットを四重項として注意深く注釈します
1) 文脈: 質問が形成されたセグメント
2)ロングプロンプト(Long Prompt):質問のための長い文章のキュー(すなわち、文脈の主テーマをカバーする長い単語又はフレーズ列)。
3)ショート・プロンプト(ショート・プロンプト):質問(すなわち、重要情報の凝縮された表現又は文脈の焦点)に対する短い文章のキュー。
4) 質問: コンテキストに整合し,プロンプトを一貫性のある深い質問。
PEGASUS, T5, MBART, BARTなどの事前学習型変換言語モデル(LLM)を微調整して, プロンプトベースのQG手法について検討する。
さらに,テキストダヴィンチ003とGPT-3.5-Turboの2つの汎用事前学習LCMの性能について検討した。
自動評価を行うことで、T5は(長いプロンプトで)他の全てのモデルより優れているが、それでも人間のベースラインには及ばないことを示す。
人間の評価基準では、textdavinci-003は様々なプロンプト設定で他のモデルよりも良い結果を示す。
人間の評価基準の場合でさえ、QGモデルは基本的に人間の基準に届かない。
私たちのコードとデータセットは、https://github.com/my625/promptqgで利用可能です。
関連論文リスト
- Diversity Enhanced Narrative Question Generation for Storybooks [4.043005183192124]
マルチクエスト生成モデル(mQG)を導入し,複数の,多様な,回答可能な質問を生成する。
生成した質問の応答性を検証するために,SQuAD2.0の微調整された質問応答モデルを用いる。
mQGは、強力なベースラインの中で、様々な評価指標で有望な結果を示している。
論文 参考訳（メタデータ） (2023-10-25T08:10:04Z) - Improving Question Generation with Multi-level Content Planning [70.37285816596527]
本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。
具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
論文 参考訳（メタデータ） (2023-10-20T13:57:01Z) - Prompting Large Language Models with Chain-of-Thought for Few-Shot
Knowledge Base Question Generation [19.327008532572645]
知識ベースに関する質問生成(KBQG)は、論理形式を自然言語の質問に変換することを目的としている。
推論のためのコンテキスト内学習戦略であるChain-of-Thoughtプロンプトを提案する。
3つのKBQGデータセットに対して広範な実験を行う。
論文 参考訳（メタデータ） (2023-10-12T15:08:14Z) - Answer Candidate Type Selection: Text-to-Text Language Model for Closed
Book Question Answering Meets Knowledge Graphs [62.20354845651949]
本稿では,この問題を解決するために,事前学習されたテキスト間QAシステム上で機能する新しいアプローチを提案する。
提案手法は,Wikidataの"instance_of"プロパティの型に基づいて,生成した候補のフィルタリングと再ランク付けを行う。
論文 参考訳（メタデータ） (2023-10-10T20:49:43Z) - Dynamic Prompt Learning via Policy Gradient for Semi-structured
Mathematical Reasoning [150.17907456113537]
数学的な推論を必要とする38,431のグレードレベルの問題を含む新しいデータセットであるTabular Math Word Problems (TabMWP)を提案する。
我々は,GPT-3モデルを含む,TabMWP上での事前学習モデルの評価を行った。
本稿では、ポリシー勾配を利用して、少量のトレーニングデータからコンテキスト内サンプルを選択する新しいアプローチ、PromptPGを提案する。
論文 参考訳（メタデータ） (2022-09-29T08:01:04Z) - Towards Complex Document Understanding By Discrete Reasoning [77.91722463958743]
VQA(Document Visual Question Answering)は、自然言語による質問に答えるために、視覚的に豊富なドキュメントを理解することを目的としている。
我々は3,067の文書ページと16,558の質問応答ペアからなる新しいドキュメントVQAデータセットTAT-DQAを紹介する。
我々は,テキスト,レイアウト,視覚画像など,多要素の情報を考慮に入れたMHSTという新しいモデルを開発し,異なるタイプの質問にインテリジェントに対処する。
論文 参考訳（メタデータ） (2022-07-25T01:43:19Z) - Fantastic Questions and Where to Find Them: FairytaleQA -- An Authentic
Dataset for Narrative Comprehension [136.82507046638784]
幼稚園児の物語理解に焦点を当てたデータセットであるFairytaleQAを8年生に紹介する。
FairytaleQAは10,580の明示的で暗黙的な質問で構成されており、278の子供フレンドリーな物語から導かれる。
論文 参考訳（メタデータ） (2022-03-26T00:20:05Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z) - Simplifying Paragraph-level Question Generation via Transformer Language
Models [0.0]
質問生成(QG)は、ある入力テキストに対応する質問をモデルに訓練する自然言語生成タスクである。
1つのTransformerベースの一方向言語モデルで、トランスファーラーニングを利用して高品質な質問を生成することができる。
我々のQGモデルは、GPT-2 Smallから微調整され、SQuADデータセット上のいくつかの段落レベルのQGベースラインを0.95 METEORポイントで上回る。
論文 参考訳（メタデータ） (2020-05-03T14:57:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。