論文の概要: AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments

• arxiv url: http://arxiv.org/abs/2012.01186v2
• Date: Fri, 18 Dec 2020 23:46:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-21 01:45:43.266527
• Title: AGenT Zero: Zero-shot Automatic Multiple-Choice Question Generation for Skill Assessments
• Title（参考訳）: AGenT Zero: スキルアセスメントのためのゼロショット自動多項目質問生成
• Authors: Eric Li, Jingyi Su, Hao Sheng, Lawrence Wai
• Abstract要約: マルチチョイス質問(MCQ)は、仮想教育と求職の時代に最も有望なスキル評価の道を提供する。 自然言語処理の最近の進歩は、多くの複雑な質問生成手法を生み出している。 AGenT Zeroは、他のトレーニング済みメソッドよりも、流布やセマンティックな類似性が優れている。
• 参考スコア（独自算出の注目度）: 11.355397923795488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multiple-choice questions (MCQs) offer the most promising avenue for skill evaluation in the era of virtual education and job recruiting, where traditional performance-based alternatives such as projects and essays have become less viable, and grading resources are constrained. The automated generation of MCQs would allow assessment creation at scale. Recent advances in natural language processing have given rise to many complex question generation methods. However, the few methods that produce deployable results in specific domains require a large amount of domain-specific training data that can be very costly to acquire. Our work provides an initial foray into MCQ generation under high data-acquisition cost scenarios by strategically emphasizing paraphrasing the question context (compared to the task). In addition to maintaining semantic similarity between the question-answer pairs, our pipeline, which we call AGenT Zero, consists of only pre-trained models and requires no fine-tuning, minimizing data acquisition costs for question generation. AGenT Zero successfully outperforms other pre-trained methods in fluency and semantic similarity. Additionally, with some small changes, our assessment pipeline can be generalized to a broader question and answer space, including short answer or fill in the blank questions.
• Abstract（参考訳）: マルチチョイス質問(英語版)(mcqs)は、仮想教育と求人の時代に最も有望なスキル評価手段であり、プロジェクトやエッセイのような伝統的なパフォーマンスベースの代替案は実現不可能となり、採点資源は制限されている。 MCQの自動生成は、大規模な評価作成を可能にする。 自然言語処理の最近の進歩は、多くの複雑な質問生成手法を生み出している。 しかし、特定のドメインにデプロイ可能な結果を生成する数少ない方法は、取得に非常にコストがかかるドメイン固有のトレーニングデータを必要とする。 我々の研究は、質問コンテキスト(タスクと比較)を戦略的に強調することにより、高データ取得コストシナリオ下でのMCQ生成の初期段階を提供する。 質問応答ペア間のセマンティックな類似性を維持することに加えて、AGenT Zeroと呼ばれるパイプラインは、事前訓練されたモデルのみで構成され、質問生成のためのデータ取得コストを最小限に抑えながら微調整を必要としない。 AGenT Zeroは、他のトレーニング済みメソッドよりも、流布やセマンティックな類似性が優れている。 さらに、いくつかの小さな変更によって、私たちのアセスメントパイプラインは、短い回答や空白の質問の埋め合わせを含む、より広範な質問と回答空間に一般化できます。

関連論文リスト

• Adapting Pre-trained Generative Models for Extractive Question Answering [4.993041970406846]
  本稿では、事前学習された生成モデルのパワーを用いて、抽出されたQAタスクに対処する新しいアプローチを提案する。 本稿では,既存の最先端モデルと比較して,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-11-06T09:01:02Z)
• A Lightweight Method to Generate Unanswerable Questions in English [18.323248259867356]
  本稿では,英語における疑問生成のための簡易なデータ拡張手法について検討する。 回答可能な質問に対して、Antonymとエンティティスワップを実行します。 従来の最先端技術と比較すると、トレーニング不要で軽量な戦略で生成されたデータにより、より良いモデルが得られます。
  論文  参考訳（メタデータ） (2023-10-30T10:14:52Z)
• QASnowball: An Iterative Bootstrapping Framework for High-Quality Question-Answering Data Generation [67.27999343730224]
  QAデータ拡張のための反復型ブートストラップフレームワーク(QASnowball)を導入する。 QASnowballは、教師付きサンプルのシードセットに基づいて、大規模で高品質なQAデータを反復的に生成することができる。 本研究では, 高資源の英語シナリオと中資源の中国語シナリオで実験を行い, 実験結果から, QASnowball が生成したデータによりQAモデルを容易に作成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-19T05:20:36Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)
• PAXQA: Generating Cross-lingual Question Answering Examples at Training Scale [53.92008514395125]
  PAXQA(クロスリンガル(x)QAのアノテーションの計画)は、クロスリンガルQAを2段階に分解する。 本稿では、並列ビットから制約されたエンティティを抽出する語彙制約機械翻訳の新たな利用法を提案する。 これらのデータセットに基づいて微調整されたモデルは、複数の抽出されたQAデータセット上で、先行合成データ生成モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-24T15:46:26Z)
• Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
  MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。 本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2022-12-12T08:28:22Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• Contrastive Domain Adaptation for Question Answering using Limited Text Corpora [20.116147632481983]
  本稿では,QAに対するコントラッシブ・ドメイン適応という,ドメイン適応のための新しいフレームワークを提案する。 特に、CAQAは、質問生成とドメイン不変学習の技法を組み合わせて、限られたテキストコーパスでドメイン外質問に答える。
  論文  参考訳（メタデータ） (2021-08-31T14:05:55Z)
• ManyModalQA: Modality Disambiguation and QA over Diverse Inputs [73.93607719921945]
  本稿では, エージェントが3つの異なるモダリティを考慮し, 質問に答えなければならない, マルチモーダルな質問応答課題, ManyModalQAを提案する。 われわれはウィキペディアをスクラップしてデータを収集し、クラウドソーシングを利用して質問と回答のペアを収集する。
  論文  参考訳（メタデータ） (2020-01-22T14:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。