論文の概要: Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5

• arxiv url: http://arxiv.org/abs/2403.02078v1
• Date: Mon, 4 Mar 2024 14:24:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 18:25:42.817133
• Title: Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
• Title（参考訳）: GPT-turbo 3.5 を用いた英語語彙評価のための複数字幕質問の自動生成
• Authors: Qiao Wang, Ralph Rose, Naho Orita, Ayaka Sugawara
• Abstract要約: 大規模言語モデル(LLM)を用いた複数質問の自動生成手法の評価を行った。 VocaTTエンジンはPythonで記述されており、ターゲット単語リストの事前処理、文と候補単語オプションの生成、最後に適切な単語オプションの選択という3つの基本的なステップで構成されている。 その結果、文が75%、単語が66.85%であることがわかった。
• 参考スコア（独自算出の注目度）: 5.525336037820985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common way of assessing language learners' mastery of vocabulary is via multiple-choice cloze (i.e., fill-in-the-blank) questions. But the creation of test items can be laborious for individual teachers or in large-scale language programs. In this paper, we evaluate a new method for automatically generating these types of questions using large language models (LLM). The VocaTT (vocabulary teaching and training) engine is written in Python and comprises three basic steps: pre-processing target word lists, generating sentences and candidate word options using GPT, and finally selecting suitable word options. To test the efficiency of this system, 60 questions were generated targeting academic words. The generated items were reviewed by expert reviewers who judged the well-formedness of the sentences and word options, adding comments to items judged not well-formed. Results showed a 75% rate of well-formedness for sentences and 66.85% rate for suitable word options. This is a marked improvement over the generator used earlier in our research which did not take advantage of GPT's capabilities. Post-hoc qualitative analysis reveals several points for improvement in future work including cross-referencing part-of-speech tagging, better sentence validation, and improving GPT prompts.
• Abstract（参考訳）: 言語学習者の語彙の熟達度を評価する一般的な方法は、複数選択のクローゼ(すなわち、補うこと)による質問である。 しかし、個々の教師や大規模言語プログラムでは、テスト項目の作成は困難である。 本稿では,大規模言語モデル(LLM)を用いて,これらの質問を自動的に生成する新しい手法を評価する。 VocaTT (vocabulary teaching and training) エンジンはPythonで書かれており、ターゲット単語リストの事前処理、GPTによる文の生成、候補単語オプションの選択、そして最後に適切な単語オプションの選択という3つの基本的なステップで構成されている。 このシステムの効率性をテストするために,学術用語を対象とした60の質問文を作成した。 生成した項目は、文章や単語の選択の良さを判断する専門家のレビューによってレビューされ、不適当と判断された項目にコメントが加えられた。 その結果、75%が文章の熟成率、66.85%が適切な単語選択率であった。 これは、GPTの能力を生かしてはいない我々の研究で使われたジェネレータよりも顕著な改善である。 ポストホック定性的分析は、音声の相互参照タグ付け、文の検証の改善、GPTプロンプトの改善など、将来の作業におけるいくつかの改善点を明らかにしている。

関連論文リスト

• Answer Candidate Type Selection: Text-to-Text Language Model for Closed Book Question Answering Meets Knowledge Graphs [62.20354845651949]
  本稿では,この問題を解決するために,事前学習されたテキスト間QAシステム上で機能する新しいアプローチを提案する。 提案手法は,Wikidataの"instance_of"プロパティの型に基づいて,生成した候補のフィルタリングと再ランク付けを行う。
  論文  参考訳（メタデータ） (2023-10-10T20:49:43Z)
• ChatPRCS: A Personalized Support System for English Reading Comprehension based on ChatGPT [3.847982502219679]
  本稿では,ChatPRCSと呼ばれる読解支援システムを提案する。 ChatPRCSは、理解能力予測、質問生成、自動評価などの手法を採用している。
  論文  参考訳（メタデータ） (2023-09-22T11:46:44Z)
• Can Language Models Learn to Listen? [96.01685069483025]
  本稿では,話者の言葉に基づく社会的対話における聞き手から適切な表情応答を生成するための枠組みを提案する。 提案手法は,VQ-VAEを用いて定量化したリスナーの顔のジェスチャー列であるリスナーの応答を自己回帰的に予測する。 生成したリスナーの動きは,定量的メトリクスと質的ユーザスタディを通じて,言語意味論に精通し,反映していることを示す。
  論文  参考訳（メタデータ） (2023-08-21T17:59:02Z)
• Controllable Emphasis with zero data for text-to-speech [57.12383531339368]
  強調音声を簡易かつ効果的に処理する方法は、強調単語の予測持続時間を増加させることである。 これは自然度を7.3%向上させるスペクトログラム修正手法よりもはるかに優れていることを示し、基準女性のen-US音声に対して、文章中の強調された単語の正しさを40%精度で識別する。
  論文  参考訳（メタデータ） (2023-07-13T21:06:23Z)
• Automatic Generation of Multiple-Choice Questions [7.310488568715925]
  本稿では,QAP世代における課題に取り組むための2つの方法を提案する。 事前処理と後処理パイプラインを備えたT5 Transformerに基づくディープラーニングに基づくエンドツーエンド質問生成システム。 文のメタシーケンス表現を用いて適切なQAPを生成するシーケンス学習に基づくスキーム。
  論文  参考訳（メタデータ） (2023-03-25T22:45:54Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• Vector Representations of Idioms in Conversational Systems [1.6507910904669727]
  我々は,2つの課題に対して,潜在的表現(PIE)-英語イディオムコーパスを利用する。 SoTA T5モデルを用いて分類作業において,98%のマクロF1スコアの最先端(SoTA)を達成した。 その結果、イディオムコーパスで訓練されたモデルは、イディオム71.9%を含むプロンプトに対してより適合した反応を生じさせることがわかった。
  論文  参考訳（メタデータ） (2022-05-07T14:50:05Z)
• Few-Shot Bot: Prompt-Based Learning for Dialogue Systems [58.27337673451943]
  ごく少数の例を使って会話を学ぶことは、会話型AIにおける大きな課題である。 現在の最良の会話モデルは、良いチャットシャッター(例:BlenderBot)またはゴール指向システム(例:MinTL)である。 グラデーションベースの微調整を必要とせず、学習の唯一の源としていくつかの例を用いるプロンプトベースの数ショット学習を提案する。
  論文  参考訳（メタデータ） (2021-10-15T14:36:45Z)
• Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring [60.55025339250815]
  本研究では、話者条件付き階層型モデリングと呼ばれる非ネイティブASSのための新しいディープラーニング手法を提案する。 本手法では, 口腔熟練度テストが候補に対して複数の応答を評価できるという事実を生かして, 候補に対して複数の応答を評価できる。これらの応答からコンテキストを抽出し, ネットワークに付加的な話者固有のコンテキストとして与えて, 特定の応答をスコアする。
  論文  参考訳（メタデータ） (2021-08-30T07:00:28Z)
• An Automated Multiple-Choice Question Generation Using Natural Language Processing Techniques [0.913755431537592]
  コンピュータベーステスト試験 (CBTE) のための自動複数選択質問生成 (MCQG) のための NLP ベースのシステムを提案する。 我々は,nlp手法を用いて,学習教材中の重要な単語を抽出した。 システムが逆でないことを検証するために、5つの教材を用いてシステムの有効性と効率を確認した。
  論文  参考訳（メタデータ） (2021-03-26T22:39:59Z)
• Automated Utterance Generation [5.220940151628735]
  質問応答の特徴として関連する発話を用いることで、会話アシスタントによる正しい回答を検索するための精度とリコールが向上することが示されている。 本稿では,1)抽出要約を用いて記述から重要な文を抽出し,2)複数のパラフレーズを用いてタイトルと要約文の多種多様なパラフレーズを生成し,3)新しい候補選択アルゴリズムの助けを借りて優れた候補パラフレーズを選択する発話生成システムを提案する。
  論文  参考訳（メタデータ） (2020-04-07T15:35:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。