論文の概要: Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays

• arxiv url: http://arxiv.org/abs/2607.14605v1
• Date: Thu, 16 Jul 2026 06:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.008285
• Title: Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays
• Title（参考訳）: LLMによる自動エッセイ評価における第一言語バイアスの調査:TOEFLエッセイにおけるオープンウェイトAIモデルのクロスプロンプト評価
• Abstract要約: 本研究では,ロラ適応オープンウェイト大言語モデル(Gemma-3-27B-it)がエッセイ自動評価に適用したクロスプロンプト一般化と第1言語(L1)スコアリングの効果について検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study examines the cross-prompt generalization and first-language (L1) scoring effects of a LoRA-adapted open-weight large language model (Gemma-3-27B-it) applied to automated essay scoring. Using the identical model and inference configuration reported in "AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models" (Gayed, 2026), which was fine-tuned on 480 argumentative essays from two prompts, we evaluate scoring accuracy on the full TOEFL11 corpus: 12,100 essays written by test-takers from 11 first-language backgrounds across eight prompts, none of which were seen during training. The model's raw scores (0.5-5.0) are mapped to the same three proficiency bands (low, medium, high) used by ETS, enabling direct comparison. The model achieved an overall band agreement of 77.79% and a quadratic weighted kappa of 0.702, with adjacent-band agreement of 99.98%. Accuracy was stable across all eight unseen prompts, with no advantage for prompts thematically related to the training data, indicating robust cross-prompt generalization. However, the model exhibited a systematic, L1-linked scoring offset. Within every proficiency band, essays from European-language backgrounds received consistently higher scores than essays from East-Asian-language backgrounds, a pattern not attributable to the composition of the fine-tuning data. This is the first large-scale L1 fairness analysis of a fine-tuned open-weight LLM for automated essay scoring.
• Abstract（参考訳）: 本研究では,ロラ適応オープンウェイト大言語モデル(Gemma-3-27B-it)がエッセイ自動評価に適用したクロスプロンプト一般化と第1言語(L1)スコアリングの効果について検討した。 AiAWE: An Open-Source LLM AutomatedWrite Evaluation Evaluation System Using LoRA-Adapted Instruction-Tuned Models (Gayed, 2026), which was fine-tuned on 480 argumentative essays from two prompts, we evaluate accuracy on the full TOEFL11 corpus: 12,100 essays by test-takers from 11 first-lang backgrounds across 8 prompts。 モデルの生スコア(0.5-5.0)は、ETSが使用する3つの習熟帯域(低、中、高)にマッピングされ、直接比較が可能である。 このモデルは、バンド全体の77.79%、二次重み付きカッパ0.702、隣接バンド契約99.98%を達成した。 精度は8つの未確認プロンプトすべてで安定しており、トレーニングデータに数学的に関係するプロンプトの利点はなく、堅牢なクロスプロンプト一般化を示している。 しかし、このモデルは体系的なL1リンクスコアオフセットを示した。 すべての熟練したバンドの中で、ヨーロッパの背景からのエッセイは東アジアの背景からのエッセイよりも一貫して高いスコアを受け取っており、これは微調整データの構成に起因しないパターンである。 これは、自動エッセイ評価のための微調整オープンウェイトLLMの大規模L1フェアネス解析としては初めてのものである。

関連論文リスト

• AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models [0.0]
  AiAWEはオープンソースの文章評価システムであり、LoRA命令で訓練された大言語モデルを用いて議論的なエッセイをスコアする。 微調整されたGemmaモデルは、根平均2乗誤差0.474、二次重み付きKappa 0.828、一致率90.56%を人間のスコア+/-0.5の範囲内で達成する。
  論文  参考訳（メタデータ） (2026-06-11T01:55:03Z)
• LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening [69.1037790901185]
  現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。 パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。
  論文  参考訳（メタデータ） (2026-05-19T09:40:29Z)
• Putting HUMANS first: Efficient LAM Evaluation with Human Preference Alignment [53.72927532626824]
  わずか50個のサンプル(0.3%のデータ)のサブセットは、完全なベンチマークスコアと0.93以上のピアソン相関を達成可能であることを示す。 選好をより良く予測するために、選択したサブセットの回帰モデルを訓練し、0.98の相関を達成した。 これは回帰モデリングにおいて、よく計算されたサブセットが完全なベンチマークを予測し、量を超える品質を示すことを示している。
  論文  参考訳（メタデータ） (2026-04-20T00:57:31Z)
• Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach [1.0055143995729414]
  現在のトランスフォーマーに基づく回帰モデルは、主にネイティブスピーカーコーパスに基づいて訓練され、しばしば表面レベルL2言語特徴とエッセイ品質の急激な相関関係を学習する。 本研究では,ASAP 2.0とELIPSEデータセットを用いた細調整DeBERTa-v3モデルのバイアス研究を行う。 我々は17,161個のマッチしたエッセイペアのデータセットを構築し、トリプレット・マージン・ロスを用いてモデルを微調整し、ESLとネイティブ・ライティングの潜在表現を調整した。
  論文  参考訳（メタデータ） (2026-01-23T13:18:30Z)
• Exploring the Utilities of the Rationales from Large Language Models to Enhance Automated Essay Scoring [0.5926203312586109]
  The study found in general essay-based score performed than rationale-based score with higher Quadratic Weighted Kappa (QWK) エッセイに基づくスコアリングモデルのアンサンブルモデリングは、特定のスコアレベルとすべてのスコアレベルの両方でスコアの精度を高めた。
  論文  参考訳（メタデータ） (2025-10-31T03:10:07Z)
• Automated Refinement of Essay Scoring Rubrics for Language Models via Reflect-and-Revise [41.16092952642748]
  本研究では,Large Language Models (LLMs) で使用されているれんがを精製することにより,AES(Automated Scoring)を向上する可能性について検討する。 GPT-4.1、Gemini-2.5-Pro、Qwen-3-Next-80B-A3B-Instructによるデータセットの実験では、最大0.19と0.47の改善が得られた。
  論文  参考訳（メタデータ） (2025-10-10T06:05:38Z)
• ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models [75.05436691700572]
  明示的な因果推論において,LLM(Large Language Models)を評価するための新しいデータセットであるExpliCaを紹介する。 ExpliCa上で7つの商用およびオープンソース LLM をテストしました。 驚くべきことに、モデルは因果関係と時間的関係を関連付ける傾向にあり、そのパフォーマンスはイベントの言語的順序にも強く影響される。
  論文  参考訳（メタデータ） (2025-02-21T14:23:14Z)
• Can AI grade your essays? A comparative analysis of large language models and teacher ratings in multidimensional essay scoring [8.71931996488953]
  大規模言語モデルは、教師のためのエッセイ・スコーリング作業を容易にする潜在的なソリューションを提供する。 大規模言語モデルのようなジェネレーティブAIの最近の発展は、教師にとってエッセイ・スコリング・タスクを促進する潜在的なソリューションを提供する。 我々は,ドイツの学生エッセイの評価において,オープンソースとクローズドソースの両方のLCMの性能と信頼性を評価した。
  論文  参考訳（メタデータ） (2024-11-25T12:33:14Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。 我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。 我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Speechworthy Instruction-tuned Language Models [71.8586707840169]
  提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。 我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
  論文  参考訳（メタデータ） (2024-09-23T02:34:42Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。