論文の概要: A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ
Generation using GPT
- arxiv url: http://arxiv.org/abs/2401.07098v1
- Date: Sat, 13 Jan 2024 15:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-17 19:42:22.126076
- Title: A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ
Generation using GPT
- Title(参考訳): GPTを用いた言語非依存MCQ生成のための新しいマルチステージプロンプト手法
- Authors: Subhankar Maity, Aniket Deroy, Sudeshna Sarkar
- Abstract要約: 複数選択質問(MCQ)を生成するためのマルチステージプロンプト手法(MSP)を提案する。
人的評価において,本手法を用いて生成した質問は,文法性,応答性,難易度に優れたレベルを示す。
- 参考スコア(独自算出の注目度): 0.5459032912385802
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a multi-stage prompting approach (MSP) for the generation of
multiple choice questions (MCQs), harnessing the capabilities of GPT models
such as text-davinci-003 and GPT-4, renowned for their excellence across
various NLP tasks. Our approach incorporates the innovative concept of
chain-of-thought prompting, a progressive technique in which the GPT model is
provided with a series of interconnected cues to guide the MCQ generation
process. Automated evaluations consistently demonstrate the superiority of our
proposed MSP method over the traditional single-stage prompting (SSP) baseline,
resulting in the production of high-quality distractors. Furthermore, the
one-shot MSP technique enhances automatic evaluation results, contributing to
improved distractor generation in multiple languages, including English,
German, Bengali, and Hindi. In human evaluations, questions generated using our
approach exhibit superior levels of grammaticality, answerability, and
difficulty, highlighting its efficacy in various languages.
- Abstract(参考訳): 我々は,複数選択質問(MCQ)を生成するためのマルチステージプロンプト手法(MSP)を導入し,テキストダヴィンチ003やGPT-4などのGPTモデルの能力を活用した。
提案手法は,GPTモデルにMCQ生成過程を導出する一連の相互接続的手がかりを付与するプログレッシブ手法であるチェーン・オブ・シークレット・プロンプトの革新的な概念を取り入れたものである。
自動評価は従来の単段プロンプト(SSP)ベースラインよりもMSP法の方が優れていることを一貫して示し、高品質なイントラクタを生産する結果となった。
さらに、ワンショットMSP技術は自動評価結果を向上し、英語、ドイツ語、ベンガル語、ヒンディー語を含む複数の言語におけるイントラクタ生成の改善に寄与する。
人的評価において,本手法を用いて生成した質問は,文法性,応答性,難易度に優れ,各言語における有効性を強調した。
関連論文リスト
- What Is Missing in Multilingual Visual Reasoning and How to Fix It [64.47951359580556]
視覚的推論タスクを用いてNLPモデルの多言語・多モーダル機能を評価する。
GPT-4Vのようなプロプライエタリなシステムは、現在このタスクで最高のパフォーマンスを得るが、オープンモデルは比較に遅れている。
我々の介入はゼロショット設定でこのタスク上で最高のオープンパフォーマンスを実現し、オープンモデルLLaVAを13.4%向上させる。
論文 参考訳(メタデータ) (2024-03-03T05:45:27Z) - MM-Narrator: Narrating Long-form Videos with Multimodal In-Context
Learning [120.95150400119705]
GPT-4を利用した音声記述生成のためのマルチモーダルインコンテキスト学習システムMM-Narratorを提案する。
MM-Narratorは、時間を超えても、何時間も経過したビデオの正確な音声記述を自動回帰的に生成することに長けている。
逐次テキスト生成のための最初のセグメントベース評価器を提案する。
論文 参考訳(メタデータ) (2023-11-29T08:27:00Z) - Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
我々はGeneInputという新しい生成入力パラダイムを提案する。
すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。
その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
論文 参考訳(メタデータ) (2023-11-02T12:01:29Z) - Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement [50.62461749446111]
Self-Polish(SP)は、与えられた問題を徐々に洗練し、より理解しやすく解けるように誘導することによって、モデルの推論を促進する新しい方法である。
SPは、CoTのような答え/推論サイドの他のすべてのプロンプトメソッドであり、最先端の技術とのシームレスな統合を可能にし、さらなる改善を可能にします。
論文 参考訳(メタデータ) (2023-05-23T19:58:30Z) - Rethinking Label Smoothing on Multi-hop Question Answering [87.68071401870283]
MHQA (Multi-Hop Question Answering) は質問応答において重要な分野である。
本研究では,マルチホップ推論の性能を制限する主要な要因を解析する。
学習プロセスに不確実性を組み込んだ新しいラベル平滑化手法F1 Smoothingを提案する。
論文 参考訳(メタデータ) (2022-12-19T14:48:08Z) - Learning to Answer Multilingual and Code-Mixed Questions [4.290420179006601]
質問応答(QA)は、人間とコンピュータのシームレスな相互作用において重要な要素である。
もっとも古い研究分野の1つであるにもかかわらず、現在のQAシステムは多言語クエリを扱う上で重要な課題に直面している。
この論文は、多言語環境でエンドユーザクエリを扱うためのQA技術の進歩に焦点を当てている。
論文 参考訳(メタデータ) (2022-11-14T16:49:58Z) - KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive
Question Answering [28.18555591429343]
我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。
PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。
提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
論文 参考訳(メタデータ) (2022-05-06T08:31:02Z) - Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。
提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
論文 参考訳(メタデータ) (2021-05-08T08:53:16Z) - Multilingual Chart-based Constituency Parse Extraction from Pre-trained
Language Models [21.2879567125422]
本稿では,事前学習した言語モデルから完全(バイナリ)構文を抽出する手法を提案する。
本手法を多言語 PLM に適用することにより,9つの言語から文に対する非自明なパースを導き出すことができる。
論文 参考訳(メタデータ) (2020-04-08T05:42:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。