論文の概要: Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2107.07957v1
• Date: Thu, 15 Jul 2021 05:12:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 14:49:12.265840
• Title: Automatic Task Requirements Writing Evaluation via Machine Reading Comprehension
• Title（参考訳）: 機械読解によるタスク要求自動書込み評価
• Authors: Shiting Xu, Guowei Xu, Peilei Jia, Wenbiao Ding, Zhongqin Wu, Zitao Liu
• Abstract要約: タスク要件(TR)記述は、キーイングリッシュテストおよび予備イングリッシュテストにおいて重要な質問タイプである。 TR書記問題には複数の要件が含まれており、高品質なエッセイは各要件に対して徹底的かつ正確に対応しなければならない。 本稿では,機械読み取り理解(MRC)に基づくエンドツーエンドフレームワークを提案し,この問題に対処する。
• 参考スコア（独自算出の注目度）: 9.532702464797573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task requirements (TRs) writing is an important question type in Key English Test and Preliminary English Test. A TR writing question may include multiple requirements and a high-quality essay must respond to each requirement thoroughly and accurately. However, the limited teacher resources prevent students from getting detailed grading instantly. The majority of existing automatic essay scoring systems focus on giving a holistic score but rarely provide reasons to support it. In this paper, we proposed an end-to-end framework based on machine reading comprehension (MRC) to address this problem to some extent. The framework not only detects whether an essay responds to a requirement question, but clearly marks where the essay answers the question. Our framework consists of three modules: question normalization module, ELECTRA based MRC module and response locating module. We extensively explore state-of-the-art MRC methods. Our approach achieves 0.93 accuracy score and 0.85 F1 score on a real-world educational dataset. To encourage reproducible results, we make our code publicly available at \url{https://github.com/aied2021TRMRC/AIED_2021_TRMRC_code}.
• Abstract（参考訳）: タスク要件(trs)記述は、キー英語テストと予備英語テストにおいて重要な質問タイプである。 tr書き込み質問には複数の要件が含まれ、高品質なエッセイは各要件に徹底的かつ正確に対応しなければならない。 しかし、教師のリソースが限られているため、生徒はすぐに詳細な評価を受けることができない。 既存の自動エッセイスコアシステムの大半は、総合的なスコアを与えることに重点を置いているが、それをサポートする理由がほとんどない。 本稿では,機械読解(MRC)に基づくエンドツーエンドのフレームワークを提案し,この問題にある程度対処する。 このフレームワークは、エッセイが要求された質問に応答するかどうかを検知するだけでなく、エッセイが質問に答える場所を明確にマークする。 本フレームワークは,質問正規化モジュール,ELECTRAベースのMRCモジュール,応答位置決めモジュールの3つのモジュールから構成される。 我々は最先端のMRC手法を幅広く検討する。 本手法は実世界の教育データセットで0.93の精度と0.85のF1のスコアを得る。 再現可能な結果を促進するため、コード公開は \url{https://github.com/aied2021TRMRC/AIED_2021_TRMRC_code} で行う。

関連論文リスト

• Reducing the Scope of Language Models with Circuit Breakers [7.464494269745494]
  2つの代表的な言語モデルはスコープが低く、対処すべきでないクエリに応答できることを示します。 本稿では,最近提案された一般的なアライメント手法であるCircuit Breakersが,言語モデルに非常に具体的なタスクに適応可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-28T23:06:57Z)
• EMBRACE: Evaluation and Modifications for Boosting RACE [0.0]
  RACEは英語のテキストとそれに対応する多重選択質問(MCQ)のデータセットである RACEは、人間の読みを理解するために、中国語の英語教師によって構築された。 本稿では,高校生を対象とした RACE テストセットの詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-05-15T08:21:32Z)
• Towards End-to-End Open Conversational Machine Reading [57.18251784418258]
  オープン検索型会話機械読解(OR-CMR)タスクでは,機械は対話履歴とテキスト知識ベースに応答するマルチターン質問を行う必要がある。 OR-CMRを完全エンドツーエンドで統一されたテキスト・ツー・テキスト・タスクとしてモデル化し、ShARCおよびOR-ShARCデータセットを用いた実験により、提案したエンドツーエンド・フレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2022-10-13T15:50:44Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• UniTE: Unified Translation Evaluation [63.58868113074476]
  UniTEは3つの評価タスクをすべて処理する能力に携わる最初の統合フレームワークである。 We testify our framework on WMT 2019 Metrics and WMT 2020 Quality Estimation benchmarks。
  論文  参考訳（メタデータ） (2022-04-28T08:35:26Z)
• Bridging the Gap between Language Model and Reading Comprehension: Unsupervised MRC via Self-Supervision [34.01738910736325]
  教師なし機械読解(MRC)のための新しいフレームワークを提案する。 MRC - Spotting-MLM のための自己スーパービジョン・プレテキスト・タスクを設計し、自己教師付き学習を通じて文書中の回答の範囲を見つけることを学ぶ。 実験の結果,本手法は教師なしMRCの最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2021-07-19T02:14:36Z)
• Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question Answering Data [58.36305373100518]
  主観的問合せデータが機械読解作業に有用かどうかは不明である。 大規模多目的多目的質問回答データセットであるExamQAを収集する。 我々は、Web検索エンジンが返す不完全でノイズの多いスニペットを、各質問応答インスタンスの関連するコンテキストとして使用し、弱いラベル付きMRCインスタンスに変換する。
  論文  参考訳（メタデータ） (2021-02-01T23:18:58Z)
• Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension [59.80926970481975]
  機械読解(MRC)を長文で研究する。 モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。 我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T18:08:58Z)
• Retrospective Reader for Machine Reading Comprehension [90.6069071495214]
  機械読み取り理解(英: Machine reading comprehension、MRC)とは、機械が与えられた文節に基づいて質問に対する正しい答えを決定することを要求するAIチャレンジである。 不可解な質問が MRC タスクに関与している場合、検証モジュールと呼ばれる本質的な検証モジュールがエンコーダに加えて特に必要となる。 本稿では, MRC タスクに対して, 解答不能な質問に対して, より優れた検証器設計を提案する。
  論文  参考訳（メタデータ） (2020-01-27T11:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。