論文の概要: Reliability, validity, and diagnostic evidence for multi-model LLM short-answer scoring
- arxiv url: http://arxiv.org/abs/2609.06315v1
- Date: Sun, 06 Sep 2026 00:27:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:07:15.377481
- Title: Reliability, validity, and diagnostic evidence for multi-model LLM short-answer scoring
- Title（参考訳）: マルチモデルLPM短解点の信頼性, 妥当性, および診断的証拠
- Abstract要約: 答えの短期評価には、信頼性、妥当性、深刻度、診断値、障害ケースに関する証拠が必要である。
本研究は,複数モデルOCG-PRES誘導LPMスコアを短時間で評価するために繰り返し評価した。
- 参考スコア（独自算出の注目度）: 2.5445349880936483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used or proposed for educational scoring, but single-model and single-run evaluations provide limited evidence for assessment use. Short-answer scoring requires evidence about reliability, validity, severity, diagnostic value, and failure cases. This study evaluated repeated multi-model OCG-PRES guided LLM scoring for short-answer assessment. The analysis used 996 SciEntsBank responses. GPT, DeepSeek, and Qianwen each scored every response across three independent runs using five OCG-PRES dimensions: concept coverage, relation accuracy, reasoning completeness, contradiction control, and domain relevance. Scores were evaluated against official binary and five-category labels and compared with non-LLM baselines based on answer length, Jaccard keyword overlap, TF-IDF cosine similarity, and a combined traditional logistic model. Repeated-run reliability was high for all models, with ICC(3,k) = .977 for GPT, .992 for DeepSeek, and .981 for Qianwen. DeepSeek was the most stable across runs. GPT showed the strongest official-label alignment by AUC (.909), while Qianwen was stricter, with higher precision but lower recall under the fixed threshold = 3.0 rule. OCG-PRES scores followed expected diagnostic patterns across five official categories and outperformed all non-LLM baselines in AUC and F1. Repeated multi-model OCG-PRES scoring provides reliability, validity, and diagnostic evidence for LLM-assisted short-answer scoring. The findings support cautious, evidence-based use as a scoring support tool rather than a replacement for human judgement.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、ますます教育的評価に使われ、提案されているが、シングルモデルとシングルラン評価は、アセスメントの限られた証拠を提供する。
答えの短期評価には、信頼性、妥当性、深刻度、診断値、障害ケースに関する証拠が必要である。
本研究は,複数モデルOCG-PRES誘導LPMスコアを短時間で評価するために繰り返し評価した。
この分析は996 SciEntsBankの回答を使用した。
GPT、DeepSeek、Qianwenはそれぞれ、5つのOCG-PRESディメンション(概念カバレッジ、関係精度、推論完全性、矛盾制御、ドメイン関連性)を使用して、3つの独立したランにまたがるすべてのレスポンスをスコア付けした。
スコアは公式のバイナリと5つのカテゴリのラベルに対して評価され、回答長、Jaccardキーワードの重複、TF-IDFコサイン類似性、従来のロジスティックモデルに基づく非LLMベースラインと比較された。
ICC(3,k) = .977はGPT、.992はDeepSeek、.981はQianwenである。
DeepSeekが最も安定していた。
GPTはAUC (.909) で最強のオフィシャル・レーベル・アライメントを示し、チャンウェンはより厳格で、精度は高く、固定しきい値=3.0の規則でリコールは低かった。
OCG-PRESスコアは、5つの公式カテゴリで予測される診断パターンに従い、AUCとF1の全ての非LLMベースラインを上回った。
繰り返し多モデルOCG-PRESスコアリングは、LCM支援短解法スコアリングの信頼性、妥当性、および診断的証拠を提供する。
この発見は、人間の判断の代替ではなく、スコアリング支援ツールとして、慎重でエビデンスベースの使用を支援する。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - Before the Action: Benchmarking LLMs on Prospective Hypothesis Discovery [95.44432473367836]
大規模言語モデル(LLM)は、事前に特定された質問に答える能力に優れるが、未解決の未解決段階をナビゲートする能力はほとんど測定されていない。
仮説探索(PHD)を導入し,不確定な証拠から,仮説空間を自律的に構築することをモデルに求める。
本稿では,6つの科学的・分析的領域にわたる988ケースのベンチマークであるHypoArenaと,オープンエンド仮説セットの評価フレームワークであるHypoEvalを紹介する。
論文 参考訳（メタデータ） (2026-07-17T08:56:43Z) - Boosting Self-Consistency with Ranking [56.38798757709555]
自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。
この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
論文 参考訳（メタデータ） (2026-06-03T16:12:30Z) - Confidence-Aware Alignment Makes Reasoning LLMs More Reliable [65.44962502963378]
CASPOは、トークンレベルの信頼度とステップワイドな論理的正しさを、個別の報酬モデルをトレーニングせずに整合させるフレームワークである。
推論中、信頼を意識した思考(CaT)を提案し、不確実な推論枝を無視可能なO(V)レイテンシで動的に生成する。
10のベンチマークと複数のモデルファミリでの実験では、CASPOは推論の信頼性と推論効率を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-08T07:08:25Z) - SAAG: Structured Agent Assessment and Grounding [13.62148061055744]
本稿では,エージェント呼び出し評価を3段階に分解するケースケード診断フレームワークを提案する。
このフレームワークは,5,10,15エージェントのレジストリサイズにまたがって,Glaiveの関数呼び出しデータセットから得られたベンチマークで評価する。
論文 参考訳（メタデータ） (2026-04-30T19:33:58Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。
本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。
CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-13T15:48:15Z) - A Multi-Agent Framework for Medical AI: Leveraging Fine-Tuned GPT, LLaMA, and DeepSeek R1 for Evidence-Based and Bias-Aware Clinical Query Processing [0.4349324020366305]
大規模言語モデル(LLM)は、医療問題に対する回答を約束するが、臨床的使用は、弱い検証、不十分な証拠の根拠、信頼できない信頼のシグナルによって制限される。
本稿では,補完的なLCMとエビデンス検索,不確実性推定,バイアスチェックを組み合わせて回答信頼性を向上させるマルチエージェント医療QAフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-15T14:17:27Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidelines in Randomized Controlled Trials: A Methodological Evaluation Study [7.142913983218931]
本研究は,現代LPMの精度と信頼性を評価することを目的とした。
各種医療専門分野にまたがる150個のRCTの黄金標準データセットを構築した。
トップパフォーマンスモデルであるGemini-2.5-FlashとDeepSeek-R1は、それぞれ0.280と0.282のコーエンのカッパ係数の0.634とほぼ同じマクロF1スコアを達成した。
論文 参考訳（メタデータ） (2025-11-17T08:05:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。