論文の概要: Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems
- arxiv url: http://arxiv.org/abs/2505.22771v1
- Date: Wed, 28 May 2025 18:39:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-30 18:14:07.482803
- Title: Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems
- Title（参考訳）: 自動フィードバックシステムからのアノテーションを取り入れた自動評価
- Authors: Christopher Ormerod,
- Abstract要約: 我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを用いる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This study illustrates how incorporating feedback-oriented annotations into the scoring pipeline can enhance the accuracy of automated essay scoring (AES). This approach is demonstrated with the Persuasive Essays for Rating, Selecting, and Understanding Argumentative and Discourse Elements (PERSUADE) corpus. We integrate two types of feedback-driven annotations: those that identify spelling and grammatical errors, and those that highlight argumentative components. To illustrate how this method could be applied in real-world scenarios, we employ two LLMs to generate annotations -- a generative language model used for spell-correction and an encoder-based token classifier trained to identify and mark argumentative elements. By incorporating annotations into the scoring process, we demonstrate improvements in performance using encoder-based large language models fine-tuned as classifiers.
- Abstract（参考訳）: 本研究では,フィードバック指向アノテーションをスコアリングパイプラインに組み込むことによって,自動エッセイスコアリング(AES)の精度を高める方法について述べる。
このアプローチはPersuasive Essays for Rating, Selecting and Understanding Argumentative and Discourse Elements (PERSUADE) corpusで実証されている。
我々は、スペルと文法的誤りを識別するアノテーションと、議論的なコンポーネントを強調するアノテーションの2つのタイプを統合する。
この手法が現実世界のシナリオにどのように適用できるかを説明するために、アノテーションを生成するために2つのLCMを使用し、スペルコリクションに使用される生成言語モデルと、引数要素を識別およびマークするために訓練されたエンコーダベースのトークン分類器を用いています。
アノテーションをスコアリングプロセスに組み込むことで,エンコーダをベースとした大規模言語モデルを分類器として微調整することで,性能の向上を実証する。
関連論文リスト
- Evaluating Design Decisions for Dual Encoder-based Entity Disambiguation [3.7279275358316535]
本稿では、文脈ラベルの動詞化と効率的なハードネガティブサンプリングを含む文書レベルのデュアルモデルを提案する。
AIDA-Yagoに関する総合的な実験は、我々のアプローチの有効性を検証する。
論文 参考訳（メタデータ） (2025-05-16T20:44:07Z) - Beyond General Prompts: Automated Prompt Refinement using Contrastive Class Alignment Scores for Disambiguating Objects in Vision-Language Models [0.0]
CCAS(Contrastive Class Alignment Score)と呼ばれる新しいメトリクスを用いた自動即時改善手法を提案する。
提案手法は,大規模言語モデルを用いて多様なプロンプト候補を生成し,文変換器からのプロンプト埋め込みを用いてCCASを用いてフィルタする。
本研究では,高精度の自動選択により,モデルトレーニングやラベル付きデータを必要とせずに,物体検出精度が向上することを示す。
論文 参考訳（メタデータ） (2025-05-14T04:43:36Z) - Grammatical Error Feedback: An Implicit Evaluation Approach [32.98100553225724]
文法的フィードバックは第二言語(L2)学習の統合に不可欠である。
コンピュータ支援言語学習におけるほとんどの研究は、文法的誤り訂正(GEC)システムによるフィードバックに焦点を当てている。
本稿では, ケンブリッジ大学コーパス・ラーナーのエッセイを用いて, GEC によるフィードバック生成の質と必要性, およびフィードバック生成システムについて検討する。
論文 参考訳（メタデータ） (2024-08-18T18:31:55Z) - Prefer to Classify: Improving Text Classifiers via Auxiliary Preference
Learning [76.43827771613127]
本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。
本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-08T04:04:47Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z) - A Unified Dual-view Model for Review Summarization and Sentiment
Classification with Inconsistency Loss [51.448615489097236]
ユーザーレビューから正確な要約と感情を取得することは、現代のEコマースプラットフォームにとって不可欠な要素である。
本稿では,これら2つのタスクの性能を協調的に改善する新しいデュアルビューモデルを提案する。
異なる領域の4つの実世界のデータセットに対する実験結果から,本モデルの有効性が示された。
論文 参考訳（メタデータ） (2020-06-02T13:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。