論文の概要: AI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated Assessment
- arxiv url: http://arxiv.org/abs/2608.00717v1
- Date: Sat, 01 Aug 2026 15:35:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.875878
- Title: AI-Based Thesis Assessment: An Empirical Study of Human Evaluation Priorities and Their Impact on Automated Assessment
- Title（参考訳）: AIに基づく論文アセスメント:人間の評価優先性とその自動アセスメントへの影響に関する実証的研究
- Abstract要約: 本研究は、論文評価における監督的基準重みについて検討し、AIに基づく評価への影響を評価する。
論文評価基準は,4分野にわたる84名の論文監督者を対象に調査を行い,35名の論文評価基準の重み付けデータを収集した。
- 参考スコア（独自算出の注目度）: 0.03499870393443267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Rubric-based AI systems for thesis assessment use criterion weights to assign different levels of importance to evaluation criteria. These weights are typically defined through expert judgment, although little empirical evidence exists regarding how thesis supervisors actually prioritize evaluation criteria. Consequently, this study investigates supervisor-derived criterion weights in thesis assessment and evaluates their impact on AI-based assessment. We surveyed 84 thesis supervisors across four academic disciplines and collected weighting data for 35 thesis assessment criteria. Comparison with the default criterion weights of the AI assessment system RubiSCoT [1] revealed substantial divergences between supervisor-derived and default criterion weights. To evaluate the practical implications of these differences, the supervisor-derived weights were integrated into multiple calibration configurations and evaluated on a corpus of 80 German-language theses. The best-performing configuration reduced the mean relative deviation between AI-generated and supervisor-assigned evaluations from 11.18% to 10.85%, although the improvement was not statistically significant. Human supervisors showed substantially stronger agreement with each other, exhibiting a mean inter-supervisor relative deviation of 4.44%. The findings indicate that criterion-weight calibration alone does not substantially improve alignment between AI-generated and human assessments.
- Abstract（参考訳）: 論文評価のためのルーブリックベースのAIシステムは、評価基準に異なるレベルの重要度を割り当てるために、基準重みを使用する。
これらの重みは通常、専門家の判断によって定義されるが、論文監督者が実際に評価基準を優先順位付けする方法に関する実証的な証拠はほとんどない。
そこで本研究では, 論文評価における指導的基準重みについて検討し, それらがAIに基づく評価に与える影響について検討した。
論文評価基準は,4分野にわたる84名の論文監督者を対象に調査を行い,35名の論文評価基準の重み付けデータを収集した。
AIアセスメントシステムRubiSCoT [1]のデフォルト基準重みと比較すると、スーパーバイザー由来の基準重みとデフォルトの基準重みとの間にかなりの違いが認められた。
これらの違いの実用的意義を評価するため、重み付けを複数のキャリブレーション構成に統合し、ドイツ語80個のコーパスで評価した。
最高の性能設定により、AIが生成した評価とスーパーバイザーが割り当てた評価の平均相対偏差は11.18%から10.85%に減少したが、その改善は統計的に有意ではなかった。
人間の監督者は互いにかなり強い合意を示し、平均的なスーパーバイザー間の相対偏差は4.44%であった。
この結果から, 基準偏差だけではAIと人的評価の整合性は著しく向上しないことが明らかとなった。
関連論文リスト
- Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use [0.0]
職場における有能な生成AIの使用を評価する研究者は、自己報告、客観的テスト、および監視と信頼の尺度を選択する必要がある。
筆者らは24の焦点実験論文の構造化, 種別レビューを行った。
エージェントスコープ,パーミッション,リカバリ,状態分離,独立レビュー,エビデンスに基づくクロージャの完全な組み合わせを検査する,個別レベルの検証機器は検出されなかった。
論文 参考訳（メタデータ） (2026-09-14T14:16:18Z) - QQJ: Quantifying Qualitative Judgment for Scalable and Human-Aligned Evaluation of Generative AI [1.5749416770494706]
質的判断の定量化(QQJ)はスケーラブルで人中心的な評価フレームワークである。
QQJは、専門家が設計した多次元ルーブリックの評価をアンカーすることで、品質の定義をその実行から分離する。
テキストと画像生成に関する大規模な実験は、QQJが人間の判断とかなり強く一致していることを示す。
論文 参考訳（メタデータ） (2026-05-17T10:53:43Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。
HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。
本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
論文 参考訳（メタデータ） (2024-12-20T03:26:47Z) - Aligning Model Evaluations with Human Preferences: Mitigating Token Count Bias in Language Model Assessments [2.1370543868467275]
本稿では,大規模言語モデルと人的評価を協調させる手法について検討する。
我々はこのバイアスを定量化するためにベイズ統計とt検定を用い、GPTScorerを調整するための再校正手順を開発した。
以上の結果から,再校正したLCM評価器と,複数のユースケースにおけるヒト評価との整合性は有意に改善した。
論文 参考訳（メタデータ） (2024-07-05T09:26:40Z) - ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。
認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。
本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文 参考訳（メタデータ） (2024-05-28T22:45:28Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z) - Consultation Checklists: Standardising the Human Evaluation of Medical
Note Generation [58.54483567073125]
本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。
このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
論文 参考訳（メタデータ） (2022-11-17T10:54:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。