論文の概要: DGRC: An Effective Fine-tuning Framework for Distractor Generation in Chinese Multi-choice Reading Comprehension
- arxiv url: http://arxiv.org/abs/2405.19139v1
- Date: Wed, 29 May 2024 14:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-30 16:51:10.471394
- Title: DGRC: An Effective Fine-tuning Framework for Distractor Generation in Chinese Multi-choice Reading Comprehension
- Title（参考訳）: DGRC:中国語多字読解理解におけるディトラクタ生成のための効果的なファインチューニングフレームワーク
- Authors: Runfeng Lin, Dacheng Xu, Huijiang Wang, Zebiao Chen, Yating Wang, Shouqiang Liu,
- Abstract要約: 本報告では,中国におけるNQDGのためのDGRCという微調整フレームワークについて紹介する。
実験の結果,DGRCは生成性能を著しく向上し,BLEUスコアの2.5倍以上の改善が得られた。
- 参考スコア（独自算出の注目度）: 0.6597195879147557
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When evaluating a learner's knowledge proficiency, the multiple-choice question is an efficient and widely used format in standardized tests. Nevertheless, generating these questions, particularly plausible distractors (incorrect options), poses a considerable challenge. Generally, the distractor generation can be classified into cloze-style distractor generation (CDG) and natural questions distractor generation (NQDG). In contrast to the CDG, utilizing pre-trained language models (PLMs) for NQDG presents three primary challenges: (1) PLMs are typically trained to generate ``correct'' content, like answers, while rarely trained to generate ``plausible" content, like distractors; (2) PLMs often struggle to produce content that aligns well with specific knowledge and the style of exams; (3) NQDG necessitates the model to produce longer, context-sensitive, and question-relevant distractors. In this study, we introduce a fine-tuning framework named DGRC for NQDG in Chinese multi-choice reading comprehension from authentic examinations. DGRC comprises three major components: hard chain-of-thought, multi-task learning, and generation mask patterns. The experiment results demonstrate that DGRC significantly enhances generation performance, achieving a more than 2.5-fold improvement in BLEU scores.
- Abstract（参考訳）: 学習者の知識習熟度を評価する場合, 複数選択質問は, 標準化テストにおいて, 効率的かつ広く用いられている形式である。
それでも、これらの質問、特にもっともらしい注意散らし(誤った選択肢)を生成することは、かなりの課題となる。
一般に、イントラクタ生成は、クローゼスタイルイントラクタ生成(CDG)と自然質問イントラクタ生成(NQDG)に分けられる。
CDGとは対照的に、NQDGの事前訓練された言語モデル(PLM)を利用することで、(1) PLMは回答のように「正しい」コンテンツを生成するように訓練されるのが一般的であり、(2) PLMは、特定の知識や試験のスタイルと整合したコンテンツを生成するのにしばしば苦労する。
本研究では,中国におけるNQDGのための微調整フレームワークDGRCを紹介する。
DGRCは、ハードチェーン、マルチタスク学習、生成マスクパターンの3つの主要コンポーネントから構成される。
実験の結果,DGRCは生成性能を著しく向上し,BLEUスコアの2.5倍以上の改善が達成された。
関連論文リスト
- What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。
3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。
そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
論文 参考訳（メタデータ） (2024-07-08T17:27:17Z) - Unsupervised Distractor Generation via Large Language Model Distilling and Counterfactual Contrastive Decoding [13.348768763717027]
Distractor Generation (DG) は、読者を混乱させるいくつかの誤ったオプションを生成することを目的としている。
従来のDGの監督手法は、高価な人間の注釈付きイントラクタラベルに大きく依存している。
本稿では,大規模言語モデル(LLM)を費用対効果アノテータとして活用する,教師なしのDGフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-03T13:20:05Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳（メタデータ） (2024-03-20T13:37:00Z) - Co-Supervised Learning: Improving Weak-to-Strong Generalization with
Hierarchical Mixture of Experts [81.37287967870589]
我々は,一貫した生徒を統括する,一貫した一貫した教師ではなく,多様な専門教師の集合を活用することを提案する。
我々のアプローチは、古典的な階層的な専門家の混合に似ている。
提案手法は,OpenAIの弱強ベンチマークと追加のマルチドメインデータセットを用いて,視覚認識タスクにより検証する。
論文 参考訳（メタデータ） (2024-02-23T18:56:11Z) - Specialist or Generalist? Instruction Tuning for Specific NLP Tasks [58.422495509760154]
包括的汎用的チューニングを取り入れることで,スペシャリストモデルの構築に寄与するかどうかを検討する。
実験では,異なる範囲で4つの目標タスクを評価した。
この効果は、タスク固有のトレーニングデータの量が限られている場合に特に顕著である。
論文 参考訳（メタデータ） (2023-10-23T19:46:48Z) - Improving Question Generation with Multi-level Content Planning [70.37285816596527]
本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。
具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
論文 参考訳（メタデータ） (2023-10-20T13:57:01Z) - Distractor generation for multiple-choice questions with predictive
prompting and large language models [21.233186754403093]
ChatGPTのような大規模言語モデル(LLM)は、様々なタスクで顕著なパフォーマンスを示している。
本稿では,質問銀行から自動的に回収される質問項目を抽出し,関連する注意散らしを発生させる上でのLLMの誘導戦略を提案する。
その結果,教師に提示した気晴らし器の53%が,即時使用に適した高品質と評価された。
論文 参考訳（メタデータ） (2023-07-30T23:15:28Z) - A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。
NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。
NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文 参考訳（メタデータ） (2022-11-11T04:29:02Z) - Automatic Distractor Generation for Multiple Choice Questions in
Standard Tests [37.401591976447044]
本稿では,イントラクタ生成を自動化するための,イントラクタ生成フレームワークを提案する。
我々のモデルは既存のモデルを大きく上回り、新しい最先端を実現する。
論文 参考訳（メタデータ） (2020-11-26T02:58:24Z) - Better Distractions: Transformer-based Distractor Generation and
Multiple Choice Question Filtering [4.168157981135697]
我々はGPT-2言語モデルをトレーニングし、与えられた質問とテキストコンテキストに対して3つの気晴らしを生成する。
次に、複数の選択質問(MCQ)に答えるためにBERT言語モデルをトレーニングし、このモデルをフィルタとして使用する。
論文 参考訳（メタデータ） (2020-10-19T15:23:24Z) - A BERT-based Distractor Generation Scheme with Multi-tasking and
Negative Answer Training Strategies [1.611401281366893]
本稿では,マルチタスクと負の回答学習を併用して,テキスト・マルチプル・イントラクタを効果的に生成する新しいイントラクタ生成手法を提案する。
実験結果から,本モデルでは28.65から39.81(BLEU 1スコア)まで最先端の結果が得られた。
論文 参考訳（メタデータ） (2020-10-12T01:22:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。