論文の概要: Handwriting recognition and automatic scoring for descriptive answers in Japanese language tests

• arxiv url: http://arxiv.org/abs/2201.03215v2
• Date: Thu, 30 Nov 2023 06:51:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 21:05:57.757250
• Title: Handwriting recognition and automatic scoring for descriptive answers in Japanese language tests
• Title（参考訳）: 日本語テストにおける手書き認識と記述的回答の自動スコアリング
• Authors: Hung Tuan Nguyen, Cuong Tuan Nguyen, Haruki Oka, Tsunenori Ishioka, Masaki Nakagawa
• Abstract要約: 本報告では, 大学入試試験における手書き記述回答の自動評価実験について述べる。 すべての答えは人間の検査官によって採点されているが、手書き文字はラベル付けされていない。 我々は、ラベル付き手書きデータセットで訓練されたディープニューラルネットワークベースの手書き文字認識器を、このラベル付き回答セットに適応させようと試みる。
• 参考スコア（独自算出の注目度）: 7.489722641968594
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an experiment of automatically scoring handwritten descriptive answers in the trial tests for the new Japanese university entrance examination, which were made for about 120,000 examinees in 2017 and 2018. There are about 400,000 answers with more than 20 million characters. Although all answers have been scored by human examiners, handwritten characters are not labeled. We present our attempt to adapt deep neural network-based handwriting recognizers trained on a labeled handwriting dataset into this unlabeled answer set. Our proposed method combines different training strategies, ensembles multiple recognizers, and uses a language model built from a large general corpus to avoid overfitting into specific data. In our experiment, the proposed method records character accuracy of over 97% using about 2,000 verified labeled answers that account for less than 0.5% of the dataset. Then, the recognized answers are fed into a pre-trained automatic scoring system based on the BERT model without correcting misrecognized characters and providing rubric annotations. The automatic scoring system achieves from 0.84 to 0.98 of Quadratic Weighted Kappa (QWK). As QWK is over 0.8, it represents an acceptable similarity of scoring between the automatic scoring system and the human examiners. These results are promising for further research on end-to-end automatic scoring of descriptive answers.
• Abstract（参考訳）: 本研究は,2017年と2018年に約12万件の試験を行った日本大学入試試験において,手書き記述回答を自動的に評価する実験である。 約40万の回答があり、2000万以上の文字がある。 すべての答えは人間の検査官によって採点されているが、手書き文字はラベル付けされていない。 本稿では,ラベル付き手書きデータセットで学習した深層ニューラルネットワークを用いた手書き認識を,このラベルなし回答集合に適用する試みについて述べる。 提案手法は,異なる学習戦略を結合し,複数の認識器をアンサンブルし,大きな汎用コーパスから構築した言語モデルを用いて,特定のデータへの過剰適合を回避する。 提案手法では,データセットの0.5%以下を占める約2,000個のラベル付き回答を用いて97%以上の文字精度を記録する。 そして、認識された回答を、誤認識文字を修正せずにBERTモデルに基づいて事前学習した自動スコアシステムに入力し、ルーリックアノテーションを提供する。 自動スコアリングシステムは、四重重みカッパ(QWK)の0.84から0.98に達する。 QWKは0.8以上なので、自動スコアリングシステムと人間の検査員とのスコアリングの相似性は許容できる。 これらの結果は、記述的回答のエンドツーエンド自動スコアリングに関するさらなる研究に期待できる。

関連論文リスト

• SpellMapper: A non-autoregressive neural spellchecker for ASR customization with candidate retrieval based on n-gram mappings [76.87664008338317]
  文脈スペル補正モデルは、音声認識を改善するために浅い融合に代わるものである。 ミススペルn-gramマッピングに基づく候補探索のための新しいアルゴリズムを提案する。 Spoken Wikipediaの実験では、ベースラインのASRシステムに比べて21.4%のワードエラー率の改善が見られた。
  論文  参考訳（メタデータ） (2023-06-04T10:00:12Z)
• Modeling and Analyzing Scorer Preferences in Short-Answer Math Questions [2.277447144331876]
  自動スコアリングタスクにおいて,個々のスコアラーの好みや傾向を考慮に入れたモデルの収集について検討する。 得点者の個人の嗜好や傾向を分析するために,定量的実験とケーススタディを実施している。
  論文  参考訳（メタデータ） (2023-06-01T15:22:05Z)
• PART: Pre-trained Authorship Representation Transformer [64.78260098263489]
  文書を書く著者は、語彙、レジストリ、句読点、ミススペル、絵文字の使用など、テキスト内での識別情報をインプリントする。 以前の作品では、手作りのフィーチャや分類タスクを使用して著者モデルをトレーニングし、ドメイン外の著者に対するパフォーマンスの低下につながった。 セマンティクスの代わりにtextbfauthorship の埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)
• AiM: Taking Answers in Mind to Correct Chinese Cloze Tests in Educational Applications [26.610045625897275]
  本稿では,手書き代入を自動的に修正するマルチモーダル手法を提案する。 答えの符号化された表現は、学生の筆跡の視覚情報と相互作用する。 実験の結果,AiMはOCR法よりも高い性能を示した。
  論文  参考訳（メタデータ） (2022-08-26T08:56:32Z)
• Writer Recognition Using Off-line Handwritten Single Block Characters [59.17685450892182]
  我々は、生年月日DoBの6桁の個人番号を使用する。 本稿では,方向測定を行う手作り特徴に基づく認識手法と,ResNet50モデルによる深い特徴に基づく認識手法について検討する。 その結果,DoBでは手書き情報に同一性関連情報が6桁程度存在することがわかった。
  論文  参考訳（メタデータ） (2022-01-25T23:04:10Z)
• Detecting Handwritten Mathematical Terms with Sensor Based Data [71.84852429039881]
  本稿では,手書きの数学的用語を自動分類する,スタビロによるUbiComp 2021チャレンジの解を提案する。 入力データセットには異なるライターのデータが含まれており、ラベル文字列は合計15の異なる文字から構成されている。
  論文  参考訳（メタデータ） (2021-09-12T19:33:34Z)
• Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
  SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T10:47:30Z)
• Stacking Neural Network Models for Automatic Short Answer Scoring [0.0]
  本稿では,ニューラルネットワークとXGBoostに基づく重ね合わせモデルを用いて文埋め込み機能を持つ分類プロセスを提案する。 ベストモデルではF1スコアの0.821が、同じデータセットで前の作業を上回った。
  論文  参考訳（メタデータ） (2020-10-21T16:00:09Z)
• Text-independent writer identification using convolutional neural network [8.526559246026162]
  テキストに依存しない著者識別のためのエンドツーエンドのディープラーニング手法を提案する。 我々の手法は作家を分類するために91.81%以上の精度を達成した。
  論文  参考訳（メタデータ） (2020-09-10T14:18:03Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。