論文の概要: Mask and Cloze: Automatic Open Cloze Question Generation using a Masked
Language Model
- arxiv url: http://arxiv.org/abs/2205.07202v1
- Date: Sun, 15 May 2022 07:03:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 16:52:30.567530
- Title: Mask and Cloze: Automatic Open Cloze Question Generation using a Masked
Language Model
- Title(参考訳): mask and cloze: マスク言語モデルを用いたオープンクローズ質問の自動生成
- Authors: Shoya Matsumori, Kohei Okuoka, Ryoichi Shibata, Minami Inoue, Yosuke
Fukuchi, Michita Imai
- Abstract要約: その利点にもかかわらず、オープン・クローゼ・テストは教育面で散発的に導入されているだけである。
我々はCLOZERを開発した。
人為的な質問を比較実験した結果、CLOZERは普通の英語教師よりもOCQを生成できることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open cloze questions have been attracting attention for both measuring the
ability and facilitating the learning of L2 English learners. In spite of its
benefits, the open cloze test has been introduced only sporadically on the
educational front, largely because it is burdensome for teachers to manually
create the questions. Unlike the more commonly used multiple choice questions
(MCQ), open cloze questions are in free form and thus teachers have to ensure
that only a ground truth answer and no additional words will be accepted in the
blank. To help ease this burden, we developed CLOZER, an automatic open cloze
question generator. In this work, we evaluate CLOZER through quantitative
experiments on 1,600 answers and show statistically that it can successfully
generate open cloze questions that only accept the ground truth answer. A
comparative experiment with human-generated questions also reveals that CLOZER
can generate OCQs better than the average non-native English teacher.
Additionally, we conduct a field study at a local high school to clarify the
benefits and hurdles when introducing CLOZER. The results demonstrate that
while students found the application useful for their language learning.
Finally, on the basis of our findings, we proposed several design improvements.
- Abstract(参考訳): オープン・クローゼ・質問はL2英語学習者の能力測定と学習促進の両面から注目を集めている。
その利点にもかかわらず、オープン・クローゼ・テストは、主に教師が手動で質問を作成できないため、教育面で散発的に導入されている。
より一般的に使われる多重選択質問(mcq)とは異なり、オープンクローズ質問は自由形式であり、教師は基礎的な真理のみを答え、追加の言葉が空白で受け入れられないことを保証する必要がある。
この負担を軽減するため、私たちは自動オープンクローズ質問生成器であるclozerを開発した。
そこで本研究では,1,600の回答を定量的に評価し,基礎的真理のみを受け入れるオープン・クローズ問題の生成を統計的に示す。
人為的な質問を比較実験した結果、CLOZERは普通の英語教師よりもOCQを生成できることがわかった。
さらに,CLOZER導入時のメリットとハードルを明らかにするため,地元の高校でフィールドスタディを実施している。
その結果,学生が言語学習に有用であることがわかった。
最後に,本研究の成果に基づいて,いくつかの設計改善を提案する。
関連論文リスト
- Comparison of Large Language Models for Generating Contextually Relevant Questions [6.080820450677854]
GPT-3.5、Llama 2-Chat 13B、T5 XXLは、微調整なしで大学のスライドテキストから質問を生成する能力を比較する。
その結果, GPT-3.5 と Llama 2-Chat 13B は T5 XXL よりも小さなマージン, 特に明瞭度と質問応答アライメントで優れていた。
論文 参考訳(メタデータ) (2024-07-30T06:23:59Z) - Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。
質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。
我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
論文 参考訳(メタデータ) (2024-05-26T22:30:29Z) - Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。
質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
論文 参考訳(メタデータ) (2024-04-16T21:33:05Z) - Don't Just Say "I don't know"! Self-aligning Large Language Models for Responding to Unknown Questions with Explanations [70.6395572287422]
自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。
我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
論文 参考訳(メタデータ) (2024-02-23T02:24:36Z) - FreshLLMs: Refreshing Large Language Models with Search Engine
Augmentation [92.43001160060376]
本研究では,現在の世界知識をテストする質問に答える文脈において,大規模言語モデル(LLM)の事実性について検討する。
多様な質問や回答のタイプを含む新しい動的QAベンチマークであるFreshQAを紹介する。
我々は,2モード評価法により,閉じたLLMとオープンソースのLLMの多種多様な配列をベンチマークし,その正しさと幻覚の両面を計測する。
これらの結果に触発されたFreshPromptは、FreshQA上でのLLMの性能を大幅に向上させる単純な数ショットプロンプトである。
論文 参考訳(メタデータ) (2023-10-05T00:04:12Z) - Covering Uncommon Ground: Gap-Focused Question Generation for Answer
Assessment [75.59538732476346]
このようなギャップに着目した質問(GFQ)を自動生成する問題に着目する。
タスクを定義し、優れたGFQの所望の側面を強調し、これらを満たすモデルを提案する。
論文 参考訳(メタデータ) (2023-07-06T22:21:42Z) - Improving Reading Comprehension Question Generation with Data
Augmentation and Overgenerate-and-rank [3.854023945160742]
自動回答対応読解質問生成は、教育活動における学習者支援を拡大する大きな可能性を秘めている。
この設定における重要な技術的課題の1つは、複数の質問があり得るということです。
本研究では,(1)同じ文脈と回答を与えられた多様な質問でトレーニングデータセットを充実させるデータ拡張手法,(2)候補のプールから最適な質問を選択する過剰な生成とランクの手法を提案する。
論文 参考訳(メタデータ) (2023-06-15T04:23:25Z) - Leaf: Multiple-Choice Question Generation [19.910992586616477]
本稿では,事実テキストから複数選択質問を生成するシステムであるLeafを紹介する。
教室に非常に適していたことに加えて、リーフは工業的にも使えるようになった。
論文 参考訳(メタデータ) (2022-01-22T10:17:53Z) - I Do Not Understand What I Cannot Define: Automatic Question Generation
With Pedagogically-Driven Content Selection [0.08602553195689512]
学習者が何を読んでいるかという質問は、テキスト理解を育むための確立した方法である。
多くの教科書では、執筆に時間がかかり高価であるため、自己評価の疑問が欠落している。
本稿では,任意の教科書内容の質問文や回答を見つけるための,教育学的に意味のあるコンテンツ選択機構を提案する。
論文 参考訳(メタデータ) (2021-10-08T13:29:13Z) - Generating Answer Candidates for Quizzes and Answer-Aware Question
Generators [16.44011627249311]
そこで本研究では,テキストの文通しに対して,所定の数の回答候補を生成できるモデルを提案する。
実験の結果,提案する回答候補生成モデルは,いくつかのベースラインよりも優れていた。
論文 参考訳(メタデータ) (2021-08-29T19:33:51Z) - Differentiable Open-Ended Commonsense Reasoning [80.94997942571838]
我々は、自然言語で書かれたコモンセンス事実のコーパスのみを資源として、オープンエンドコモンセンス推論(OpenCSR)について研究する。
OpenCSRへのアプローチとして、知識ファクトに対するマルチホップ推論のための効率的な微分可能なモデルDrFactを提案する。
論文 参考訳(メタデータ) (2020-10-24T10:07:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。