論文の概要: Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs

• arxiv url: http://arxiv.org/abs/2605.04298v1
• Date: Tue, 05 May 2026 21:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.54518
• Title: Towards Self-Referential Analytic Assessment: A Profile-Based Approach to L2 Writing Evaluation with LLMs
• Title（参考訳）: 自己参照分析評価に向けて: LLMを用いたL2筆記評価へのプロファイルベースアプローチ
• Authors: Stefano Bannò, Kate Knill, Mark Gales,
• Abstract要約: ランクに基づく相関尺度は、分析次元間の内在的相互関係を曖昧にしている。 高い相関関係はシステムの真の診断行動を隠蔽する可能性がある。 ラーナー内強度と弱点の同定に焦点をあてた自己参照評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.3819918262591997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated essay scoring (AES) research often relies on rank-based correlation metrics to validate analytic assessment. However, such metrics obscure both intrinsic intercorrelations among analytic dimensions that arise from the structure of writing proficiency itself and halo effects, whereby holistic impressions bleed into fine-grained component scores. As a result, high correlations may mask a system's true diagnostic behaviour. In this study, we propose a novel self-referential assessment evaluation framework that focuses on identifying intra-learner strengths and weaknesses rather than assessing inter-learner rankings. We conduct experiments on the publicly available ICNALE GRA, a uniquely dense second-language writing dataset annotated holistically and analytically by up to 80 trained raters. To obtain reliable reference scores, we apply two-facet Rasch modelling to calibrate rater severity and derive fair average scores across ten analytic aspects and holistic proficiency. We compare the analytic scoring performance of human operational raters and three large language models (LLMs) in a zero-shot setting. Our results show that LLMs tend to outperform single human raters in identifying relative weaknesses (negative feedback) across several proficiency aspects, while human raters remain stronger at identifying relative strengths (positive feedback). Overall, our findings highlight the limitations of rank-based evaluation for analytic assessment and demonstrate the value of intra-learner, profile-based methods for assessing and deploying LLMs in AES.
• Abstract（参考訳）: 自動エッセイスコアリング(AES)研究は、しばしば分析評価を評価するためにランクベースの相関指標に依存する。 しかし、これらの指標は、習熟度自体の構造から生じる分析次元の内在的相互相関とハロ効果の両方を曖昧にし、それによって全体論的な印象がきめ細かな成分スコアへと漂着する。 その結果、高い相関関係はシステムの真の診断行動を隠蔽する可能性がある。 本研究では,階層間ランキングを評価するのではなく,階層内長所と短所を特定することに焦点を当てた,新たな自己参照評価フレームワークを提案する。 ICNALE GRAは,最大80名のトレーニングレーダによる一意かつ分析的に注釈付けされた,一意に密度の高い第二言語記述データセットである。 信頼性の高い基準スコアを得るために,2面ラッシュモデルを用いて,レーダの重大度を校正し,10つの解析的側面と全体的習熟度で公平な平均スコアを導出する。 ゼロショット設定において,人間の操作型レーダと3つの大規模言語モデル(LLM)の解析的スコアリング性能を比較した。 以上の結果から,LLMは複数の能力面において相対的弱さ(負のフィードバック)を識別するのに対して,LLMは相対的強み(正のフィードバック)を識別する上で優れる傾向が示唆された。 本研究は,解析評価におけるランクベース評価の限界を浮き彫りにして,ALMをAESで評価・展開するための階層内プロファイルベースの手法の価値を実証するものである。

関連論文リスト

• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Learning to Align Multi-Faceted Evaluation: A Unified and Robust Framework [61.38174427966444]
  大規模言語モデル(LLM)は、様々なシナリオにおける自動評価のために、より広く使われている。 従来の研究では、強力なプロプライエタリモデルの評価と判断を再現するために、オープンソースのLLMを微調整しようと試みてきた。 本稿では,評価基準を適応的に定式化し,テキストベースとコード駆動分析の両方を合成する新しい評価フレームワークARJudgeを提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:31:45Z)
• Towards Understanding the Robustness of LLM-based Evaluations under Perturbations [9.944512689015998]
  大言語モデル(LLM)は、要約やダイアログベースのタスクにおいて、非標準化メトリクスの自動評価器として機能する。 人間の判断に比較して,LLMが品質評価指標としていかに優れているかを検討するために,複数のプロンプト戦略にまたがる実験を行った。
  論文  参考訳（メタデータ） (2024-12-12T13:31:58Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。