論文の概要: Beyond the Score: Uncertainty-Calibrated LLMs for Automated Essay Assessment

• arxiv url: http://arxiv.org/abs/2509.15926v1
• Date: Fri, 19 Sep 2025 12:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:11.158255
• Title: Beyond the Score: Uncertainty-Calibrated LLMs for Automated Essay Assessment
• Title（参考訳）: スコアを超えて: 自動評価のための不確実性校正LDM
• Authors: Ahmed Karim, Qiao Wang, Zheng Yuan,
• Abstract要約: この研究は、エッセイ評価のための共形予測とUAccを組み合わせたものである。 信頼性は、正確かつ簡潔なモデルに報いる不確実性を認識した精度であるUAccで評価される。 オープンソースで中規模のLLMは、既に教師・イン・ザ・ループのAESをサポートしています。
• 参考スコア（独自算出の注目度）: 11.525382140783043
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Essay Scoring (AES) systems now reach near human agreement on some public benchmarks, yet real-world adoption, especially in high-stakes examinations, remains limited. A principal obstacle is that most models output a single score without any accompanying measure of confidence or explanation. We address this gap with conformal prediction, a distribution-free wrapper that equips any classifier with set-valued outputs and formal coverage guarantees. Two open-source large language models (Llama-3 8B and Qwen-2.5 3B) are fine-tuned on three diverse corpora (ASAP, TOEFL11, Cambridge-FCE) and calibrated at a 90 percent risk level. Reliability is assessed with UAcc, an uncertainty-aware accuracy that rewards models for being both correct and concise. To our knowledge, this is the first work to combine conformal prediction and UAcc for essay scoring. The calibrated models consistently meet the coverage target while keeping prediction sets compact, indicating that open-source, mid-sized LLMs can already support teacher-in-the-loop AES; we discuss scaling and broader user studies as future work.
• Abstract（参考訳）: AES(Automated Essay Scoring)システムは、現在、いくつかの公開ベンチマークに関する人間による合意に近い状態にあるが、特にハイテイクな試験において、実際の採用は制限されている。 主な障害は、ほとんどのモデルが信頼や説明を伴わずに単一のスコアを出力することである。 我々は,このギャップを,定値出力と形式的カバレッジ保証を備えた任意の分類器を備えた分布自由ラッパーとして,共形予測を用いて解決する。 オープンソースの2つの大きな言語モデル(Llama-3 8BとQwen-2.5 3B)は、3つの多様なコーパス(ASAP、TOEFL11、Cambridge-FCE)で微調整され、90%のリスクレベルで校正されている。 信頼性は、正確かつ簡潔なモデルに報いる不確実性を認識した精度であるUAccで評価される。 我々の知る限りでは、これはエッセイ評価のための共形予測とUAccを組み合わせた最初の研究である。 キャリブレーションされたモデルは、予測セットをコンパクトに保ちながら、常にカバレッジターゲットに適合し、オープンソースの中規模LCMが既にAESをサポートできることを示す。

関連論文リスト

• Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction [0.0]
  動的しきい値キャリブレーションとクロスモーダル整合性検証を統合したモデル非依存不確実性定量化法を提案する。 このフレームワークは、様々なキャリブレーションとテストの分割比で安定したパフォーマンスを実現し、医療、自律システム、その他の安全に敏感な領域における現実的な展開の堅牢性を強調している。 この研究は、マルチモーダルAIシステムにおける理論的信頼性と実用性の間のギャップを埋め、幻覚検出と不確実性を考慮した意思決定のためのスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-24T15:39:46Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• Learning Conformal Abstention Policies for Adaptive Risk Management in Large Language and Vision-Language Models [3.958317527488534]
  大きな言語と視覚言語モデル(LLMs/VLMs)は、安全クリティカルなアプリケーションでますます使われている。 不確かさの定量化は、予測の信頼性を評価するのに役立ち、不確実性が高い場合の回避を可能にする。 本稿では,学習可能な禁忌法を提案し,強化学習(RL)と整形予測(CP)を統合して禁忌閾値を最適化する。
  論文  参考訳（メタデータ） (2025-02-08T21:30:41Z)
• Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
  個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。 FASTは最先端のベースラインを超え、デバイアス性能が優れている。 これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
  論文  参考訳（メタデータ） (2024-08-07T17:14:58Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in End-to-End ASR [1.8477401359673709]
  クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。 信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。 我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
  論文  参考訳（メタデータ） (2024-01-06T16:29:13Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。