論文の概要: Automated Essay Scoring Using Transformer Models

• arxiv url: http://arxiv.org/abs/2110.06874v1
• Date: Wed, 13 Oct 2021 17:09:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 16:45:26.948974
• Title: Automated Essay Scoring Using Transformer Models
• Title（参考訳）: 変圧器モデルを用いた自動評価
• Authors: Sabrina Ludwig, Christian Mayer, Christopher Hansen, Kerstin Eilers, and Steffen Brandt
• Abstract要約: 自動エッセイスコアリング(AES)におけるトランスフォーマーに基づくアプローチの検討 本稿では,BOWアプローチに基づくロジスティック回帰モデルと比較し,それらの差について考察する。 このようなモデルが、人間のレーダの精度を高めるのにどのように役立つかを示す。
• 参考スコア（独自算出の注目度）: 0.415623340386296
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Automated essay scoring (AES) is gaining increasing attention in the education sector as it significantly reduces the burden of manual scoring and allows ad hoc feedback for learners. Natural language processing based on machine learning has been shown to be particularly suitable for text classification and AES. While many machine-learning approaches for AES still rely on a bag-of-words (BOW) approach, we consider a transformer-based approach in this paper, compare its performance to a logistic regression model based on the BOW approach and discuss their differences. The analysis is based on 2,088 email responses to a problem-solving task, that were manually labeled in terms of politeness. Both transformer models considered in that analysis outperformed without any hyper-parameter tuning the regression-based model. We argue that for AES tasks such as politeness classification, the transformer-based approach has significant advantages, while a BOW approach suffers from not taking word order into account and reducing the words to their stem. Further, we show how such models can help increase the accuracy of human raters, and we provide a detailed instruction on how to implement transformer-based models for one's own purpose.
• Abstract（参考訳）: 自動エッセイスコアリング(AES)は、手動スコアリングの負担を大幅に軽減し、学習者へのアドホックフィードバックを可能にするため、教育分野で注目を集めている。 機械学習に基づく自然言語処理はテキスト分類やAESに特に適していることが示されている。 AESの機械学習アプローチの多くは、まだback-of-words(BOW)アプローチに依存しているが、本論文ではトランスフォーマーベースのアプローチを検討し、その性能をBOWアプローチに基づくロジスティック回帰モデルと比較し、それらの違いについて議論する。 分析は、丁寧さの観点で手動でラベル付けされた問題解決タスクに対する2,088通のeメール応答に基づいている。 この分析で考慮された両トランスモデルは、回帰ベースモデルにハイパーパラメータをチューニングせずに性能が向上した。 丁寧な分類のようなAESタスクではトランスフォーマーベースのアプローチには大きな利点があるが、BOWアプローチでは単語の順序を考慮せず、語幹を減らしている。 さらに,このようなモデルが人力センサの精度向上にどのように役立つかを示すとともに,トランスフォーマーモデルの実装方法についての詳細な指導を行う。

関連論文リスト

• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Extensive Evaluation of Transformer-based Architectures for Adverse Drug Events Extraction [6.78974856327994]
  逆イベント(ADE)抽出は、デジタル製薬における中核的なタスクの1つである。 我々は、非公式テキストを用いたADE抽出のための19のトランスフォーマーモデルを評価する。 分析の最後には、実験データから導出可能なテイクホームメッセージのリストを同定する。
  論文  参考訳（メタデータ） (2023-06-08T15:25:24Z)
• Zero-Shot Automatic Pronunciation Assessment [19.971348810774046]
  本稿では,事前学習した音響モデル HuBERT に基づく新しいゼロショットAPA法を提案する。 speechocean762の実験結果から,提案手法は教師付き回帰ベースラインに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-05-31T05:17:17Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Learning to Perturb Word Embeddings for Out-of-distribution QA [55.103586220757464]
  本論文では,入力問題と文脈の単語埋め込みを意味論を変化させることなく学習するノイズ発生器に基づく簡便かつ効果的なDA法を提案する。 ひとつのソースデータセットに,5つの異なるターゲットドメインに埋め込むことで,トレーニングされたQAモデルのパフォーマンスを検証する。 特に、私たちのトレーニングを受けたモデルは、240K以上の人工的なQAペアでトレーニングされたモデルよりも優れています。
  論文  参考訳（メタデータ） (2021-05-06T14:12:26Z)
• Non-autoregressive Transformer-based End-to-end ASR using BERT [13.07939371864781]
  本稿では、BERTに基づく変換器に基づくエンドツーエンド自動音声認識(ASR)モデルを提案する。 AISHELL-1データセットで実施された一連の実験は、競争力または優れた結果を示している。
  論文  参考訳（メタデータ） (2021-04-10T16:22:17Z)
• Automated essay scoring using efficient transformer-based language models [0.5161531917413708]
  Automated Essay Scoring(AES)は、教育、言語学、自然言語処理(NLP)を含む学際的な取り組みです。 大規模なプリトレーニングトランスフォーマーベースの言語モデルは、多くのNLPタスクで現在の最先端を支配しています。 この論文は、AESに関しては、より大きなNLPのパラダイムに挑むことを目的としています。
  論文  参考訳（メタデータ） (2021-02-25T19:28:39Z)
• On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
  平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。 我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。 我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2020-10-24T04:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。