論文の概要: Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution

• arxiv url: http://arxiv.org/abs/2610.18019v1
• Date: Tue, 13 Oct 2026 09:14:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 07:44:50.746003
• Title: Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution
• Title（参考訳）: 大学生の課題のマーク付けにおける機械-人的合意は、モデル、プロンプト、制度に特有である
• Abstract要約: 大規模言語モデル(LLM)は、高等教育で最もリソース集約的な活動の1つを自動化することを約束する。 個人およびアンサンブルの3つのフロンティアLSMを,精度,迅速な感度,エラー独立性,汎用性,明快性に基づいて評価した。 すべてのモデルは共通の中心的な傾向に向かってマークを圧縮し、最も弱い割り当てを過大評価し、最も強い割り当てを過小評価した。 人機械合意はモデル,プロンプト,制度の合同製品であったため,現状のLLMには文脈間での伝達能力が欠如していると結論づける。
• 参考スコア（独自算出の注目度）: 33.76088586254618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) promise to automate one of higher education's most resource-intensive activities: assessing student writing. Existing evaluations are typically limited to a single model, a single prompt and a single institution. Using 761 undergraduate psychology assignments from three UK universities, we evaluated three frontier LLMs, individually and in ensemble, on accuracy, prompt sensitivity, error independence, generalisability and evidential basis. Agreement between human and machine marks varied widely, with no model or prompt optimal across institutions. All models compressed marks towards a common central tendency, overvaluing the weakest assignments and undervaluing the strongest. Because this error was shared, ensembling failed to remove it. Machine marks also rewarded linguistic features more strongly than human marks. Since human-machine agreement was a joint product of model, prompt and institution, we conclude that current LLMs lack evaluative capacity transferable across contexts, and that single-context validation overstates readiness for deployment.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、高等教育における最もリソース集約的な活動の1つ、すなわち学生の文章の評価を自動化することを約束する。 既存の評価は通常、1つのモデル、1つのプロンプト、1つの機関に限られる。 英国3大学の心理学的課題761件を用いて, 正確性, 迅速性, 誤り独立性, 汎用性, 明確性に基づいて, 個人およびアンサンブルの3つのフロンティアLCMを評価した。 人間と機械のマークの一致は、組織間でのモデルや迅速な最適化なしに、広範囲に及んだ。 すべてのモデルは共通の中心的な傾向に向かってマークを圧縮し、最も弱い割り当てを過大評価し、最も強い割り当てを過小評価した。 このエラーが共有されたため、アンサンブルはそれを削除できなかった。 機械マークはまた、人間のマークよりも強い言語的特徴に報酬を与えた。 人間の機械による合意は、モデル、プロンプト、制度の共同製品であるため、現在のLLMは、コンテキスト間でのキャパシティの伝達能力が欠如しており、単一コンテキストの検証は、デプロイの準備を過度に行うことができると結論付けている。

関連論文リスト

• Multi-Agent Dialectical Refinement for Enhanced Argument Classification [0.0]
  分類の不確実性を解決するために弁証的改善を利用したMAD-ACC(Multi-Agent Debate for Argument Component Classification)を導入する。 UKP Students Essays corpus の評価では、MAD-ACC が Macro F1 スコア85.7% を達成し、シングルエージェント推論ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-29T00:03:48Z)
• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• EDU-CIRCUIT-HW: Evaluating Multimodal Large Language Models on Real-World University-Level STEM Student Handwritten Solutions [11.523324370139143]
  EDU-CIRCUIT-HWは,大学レベルのSTEMコースから1,300以上の学生の手書きソリューションからなるデータセットである。 各種MLLMの上流認識精度と下流オートグレーディング性能を同時に評価した。 MLLMで認識された学生の手書きコンテンツの中で,潜伏障害の驚くべき規模が明らかになった。
  論文  参考訳（メタデータ） (2026-01-23T21:40:29Z)
• Assessing the Reliability and Validity of Large Language Models for Automated Assessment of Student Essays in Higher Education [0.30158609733245967]
  高等教育環境におけるエッセイ自動評価において,5つの高度な大規模言語モデル (LLM) , Claude 3.5, DeepSeek v2, Gemini 2.5, GPT-4, Mistral 24B について検討した。 イタリア語の学生エッセイは、合計67点が4基準ルーブリックを用いて評価された。 人間とLLMの合意は一貫して低く、非重要であり、複製間のモデル内信頼性も同様に弱かった。
  論文  参考訳（メタデータ） (2025-08-04T14:02:12Z)
• Evaluating Generated Commit Messages with Large Language Models [10.048749643042491]
  コミットメッセージは、コード変更の文書化や説明に役立つため、ソフトウェア開発において不可欠である。 本研究では,大規模言語モデル (LLM) がメッセージ品質の自動評価手段としての可能性について検討する。
  論文  参考訳（メタデータ） (2025-07-15T01:50:20Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。