論文の概要: A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ Generation using GPT

• arxiv url: http://arxiv.org/abs/2401.07098v1
• Date: Sat, 13 Jan 2024 15:18:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 19:42:22.126076
• Title: A Novel Multi-Stage Prompting Approach for Language Agnostic MCQ Generation using GPT
• Title（参考訳）: GPTを用いた言語非依存MCQ生成のための新しいマルチステージプロンプト手法
• Authors: Subhankar Maity, Aniket Deroy, Sudeshna Sarkar
• Abstract要約: 複数選択質問(MCQ)を生成するためのマルチステージプロンプト手法(MSP)を提案する。 人的評価において,本手法を用いて生成した質問は,文法性,応答性,難易度に優れたレベルを示す。
• 参考スコア（独自算出の注目度）: 0.5459032912385802
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a multi-stage prompting approach (MSP) for the generation of multiple choice questions (MCQs), harnessing the capabilities of GPT models such as text-davinci-003 and GPT-4, renowned for their excellence across various NLP tasks. Our approach incorporates the innovative concept of chain-of-thought prompting, a progressive technique in which the GPT model is provided with a series of interconnected cues to guide the MCQ generation process. Automated evaluations consistently demonstrate the superiority of our proposed MSP method over the traditional single-stage prompting (SSP) baseline, resulting in the production of high-quality distractors. Furthermore, the one-shot MSP technique enhances automatic evaluation results, contributing to improved distractor generation in multiple languages, including English, German, Bengali, and Hindi. In human evaluations, questions generated using our approach exhibit superior levels of grammaticality, answerability, and difficulty, highlighting its efficacy in various languages.
• Abstract（参考訳）: 我々は,複数選択質問(MCQ)を生成するためのマルチステージプロンプト手法(MSP)を導入し,テキストダヴィンチ003やGPT-4などのGPTモデルの能力を活用した。 提案手法は,GPTモデルにMCQ生成過程を導出する一連の相互接続的手がかりを付与するプログレッシブ手法であるチェーン・オブ・シークレット・プロンプトの革新的な概念を取り入れたものである。 自動評価は従来の単段プロンプト(SSP)ベースラインよりもMSP法の方が優れていることを一貫して示し、高品質なイントラクタを生産する結果となった。 さらに、ワンショットMSP技術は自動評価結果を向上し、英語、ドイツ語、ベンガル語、ヒンディー語を含む複数の言語におけるイントラクタ生成の改善に寄与する。 人的評価において,本手法を用いて生成した質問は,文法性,応答性,難易度に優れ,各言語における有効性を強調した。

関連論文リスト

• SandboxAQ's submission to MRL 2024 Shared Task on Multi-lingual Multi-task Information Retrieval [1.2629889435114405]
  本稿では,5つの言語における質問応答 (QA) と名前付きエンティティ認識 (NER) の問題について検討する。 ゼロショット,チェーンオブ思考推論,翻訳技術など,さまざまなプロンプト手法を用いた5つの大規模言語モデルを検証した。 その結果、いくつかのモデルが他のモデルより一貫して優れているが、その効果はタスクや言語によって大きく異なることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T20:15:45Z)
• The Future of Learning in the Age of Generative AI: Automated Question Generation and Assessment with Large Language Models [0.0]
  大規模言語モデル(LLM)と生成AIは、自然言語処理(NLP)に革命をもたらした。 本章では,自動質問生成と回答評価におけるLLMの変容の可能性について考察する。
  論文  参考訳（メタデータ） (2024-10-12T15:54:53Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning [90.75075886543404]
  MLLM(Multimodal Large Language Models)は、幅広い領域にわたる顕著なパフォーマンスを示す。 本研究では,MLLMの効率的な命令チューニングのための新しいMultimodal Prompt Tuning (M$2$PT) 手法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T01:40:24Z)
• What Is Missing in Multilingual Visual Reasoning and How to Fix It [64.47951359580556]
  視覚的推論タスクを用いてNLPモデルの多言語・多モーダル機能を評価する。 GPT-4Vのようなプロプライエタリなシステムは、現在このタスクで最高のパフォーマンスを得るが、オープンモデルは比較に遅れている。 我々の介入はゼロショット設定でこのタスク上で最高のオープンパフォーマンスを実現し、オープンモデルLLaVAを13.4%向上させる。
  論文  参考訳（メタデータ） (2024-03-03T05:45:27Z)
• Generative Input: Towards Next-Generation Input Methods Paradigm [49.98958865125018]
  我々はGeneInputという新しい生成入力パラダイムを提案する。 すべての入力シナリオと他のインテリジェントな補助入力関数を処理するためにプロンプトを使用し、ユーザーフィードバックでモデルを最適化し、パーソナライズされた結果を提供する。 その結果,FK2C(Full-mode Key-sequence to Characters)タスクにおいて,最先端のパフォーマンスを初めて達成したことを示す。
  論文  参考訳（メタデータ） (2023-11-02T12:01:29Z)
• Self-Polish: Enhance Reasoning in Large Language Models via Problem Refinement [50.62461749446111]
  Self-Polish(SP)は、与えられた問題を徐々に洗練し、より理解しやすく解けるように誘導することによって、モデルの推論を促進する新しい方法である。 SPは、CoTのような答え/推論サイドの他のすべてのプロンプトメソッドであり、最先端の技術とのシームレスな統合を可能にし、さらなる改善を可能にします。
  論文  参考訳（メタデータ） (2023-05-23T19:58:30Z)
• KECP: Knowledge Enhanced Contrastive Prompting for Few-shot Extractive Question Answering [28.18555591429343]
  我々はKECP(Knowledge Enhanced Contrastive Prompt-tuning)という新しいフレームワークを提案する。 PLMにポインタヘッドを追加する代わりに、タスクを非自己回帰型マスケッド言語モデリング(MLM)生成問題に変換する。 提案手法は,数ショット設定における最先端のアプローチを大きなマージンで一貫して上回っている。
  論文  参考訳（メタデータ） (2022-05-06T08:31:02Z)
• Neural Text Generation with Part-of-Speech Guided Softmax [82.63394952538292]
  テキスト生成を導くために,言語アノテーション,すなわち部分音声(POS)を用いることを提案する。 提案手法は,比較品質を維持しつつ,より多様なテキストを生成できることを示した。
  論文  参考訳（メタデータ） (2021-05-08T08:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。