Fugu-MT 論文翻訳(概要): Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence

論文の概要: Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence

arxiv url: http://arxiv.org/abs/2609.25790v1
Date: Tue, 22 Sep 2026 07:24:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-23 18:04:04.267533
Title: Automating Constructive Assessment with Large Language Models: Toward Scalable and Repeated Evaluation of Practical Competence
Title（参考訳）: 大規模言語モデルによる構成的評価の自動化:実践的能力のスケーラブルで反復的な評価に向けて
Abstract要約: 本研究では,大規模言語モデルを用いて評価プロセスを開発し,検証した。自動評価と人的評価の合意は、ある条件下で100%に達した。大きな言語モデルの柔軟性は、繰り返しおよび縦断的なアセスメントを可能にする。
参考スコア（独自算出の注目度）: 0.7817813851272346
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study aimed to automate hierarchical diagnostic reasoning (HDR), a constructive method for evaluating practical judgment skills, by developing and testing an evaluation process using a large language model. HDR is a descriptive task that measures higher-order cognitive skills by requiring students to identify and explain errors in case-study-based problems. However, it requires expertise and effort to develop and evaluate. Hence, we proposed and empirically validated the automatic (1) generation of case problems containing errors aligned with educational intentions, (2) scoring of descriptive answers, and (3) generation of structured feedback based on incorrect answers, achieved solely through prompt design without fine-tuning. The internal consistency and construct validity of the generated problems were supported by the experimental score distribution and Cronbach's alpha (0.78). The agreement between automated and human ratings reached 100% under some conditions. The feedback was rated as being as convincing and useful as that from human instructors, demonstrating a practical framework for implementing HDR-based constructive assessment with reproducibility, immediacy, and low cost. The flexibility of large language models will also enable repeated and longitudinal assessments while maintaining structure, showing broad potential for application in educational settings.
Abstract（参考訳）: 本研究の目的は,大規模言語モデルを用いて評価プロセスを開発し,検証することにより,実践的判断能力を評価する構築的手法である階層的診断推論(HDR)を自動化することである。 HDRは、学生にケーススタディに基づく問題における誤りを特定し説明することを要求することによって、高次認知能力を測定する記述的タスクである。しかし、開発と評価には専門知識と努力が必要である。そこで我々は,(1) 学習意図に沿った誤りを含むケース問題の生成,(2) 記述的回答のスコアリング,(3) 誤った回答に基づく構造化されたフィードバックの生成を,微調整なしで即時設計で行うことによる自動検証を行った。生成した問題の内部の整合性と構成の妥当性は、実験的なスコア分布とクロンバッハのα(0.78)によって支持された。自動評価と人的評価の合意は、ある条件下で100%に達した。このフィードバックは,再現性,即時性,低コストでHDRに基づく建設的評価を実施するための実践的な枠組みを実証し,人間のインストラクターのそれと同じくらい説得力があり有用であると評価された。大規模言語モデルの柔軟性は、構造を維持しながら、繰り返しおよび縦断的なアセスメントを可能にする。

関連論文リスト

Skill-Aligned Annotation for Reliable Evaluation in Text-to-Image Generation [50.85337196571056]
テキスト・ツー・イメージ(T2I)生成は急速に進歩し、モデル間の性能差が狭まるにつれて信頼性の高い評価が重要になった。既存の評価慣行は、通常、Likert-scale や binary question answering (BQA) のような一様アノテーション機構を適用している。我々は,T2I評価を,各評価スキルの根底にある特徴を反映したアノテーション戦略のレンズを通して再検討する。
論文参考訳（メタデータ） (2026-05-13T09:14:31Z)
An LLM -Powered Assessment Retrieval-Augmented Generation (RAG) For Higher Education [0.0]
本研究では,Retrieval-Augmented Generationアーキテクチャに基づくエージェントアセスメントシステムを提案する。このシステムは,大規模な言語モデルと,ルーブリック基準やエッセイ,インストラクターのフィードバックなどにアクセスする構造化された検索機構を統合している。以上の結果から,RAGシステムは信頼性の高いルーブリック整合フィードバックを大規模に生成し,94～99%の人が評価できることがわかった。
論文参考訳（メタデータ） (2026-01-05T15:13:00Z)
Beyond Static Scoring: Enhancing Assessment Validity via AI-Generated Interactive Verification [0.4260312058817663]
大規模言語モデル(LLM)は、著者の行を曖昧にすることで、従来のオープンエンドアセスメントの妥当性に挑戦する。本稿では,ルーリックに基づく自動スコアリングとAIが生成し,対象とするフォローアップ質問を組み合わせることで,評価の整合性を高める新しいHuman-AIコラボレーションフレームワークを提案する。
論文参考訳（メタデータ） (2025-12-14T08:13:53Z)
RealUnify: Do Unified Models Truly Benefit from Unification? A Comprehensive Benchmark [71.3555284685426]
本稿では,双方向機能相乗効果を評価するためのベンチマークであるRealUnifyを紹介する。 RealUnifyは、10のカテゴリと32のサブタスクにまたがる、細心の注意を払ってアノテートされた1000のインスタンスで構成されている。現在の統一モデルは、効果的な相乗効果を達成するのに依然として苦労しており、アーキテクチャの統一だけでは不十分であることを示している。
論文参考訳（メタデータ） (2025-09-29T15:07:28Z)
Ratas framework: A comprehensive genai-based approach to rubric-based marking of real-world textual exams [3.4132239125074206]
RATAS(Rubric Automated Tree-based Answer Scoring)は、テキスト応答のルーリックベースのグレーディングに最先端の生成AIモデルを活用する新しいフレームワークである。 RATASは、幅広いグレーディングルーリックをサポートし、主観的評価を可能にし、割り当てられたスコアに対して構造化された説明可能な論理を生成するように設計されている。
論文参考訳（メタデータ） (2025-05-27T22:17:27Z)
Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
論文参考訳（メタデータ） (2024-11-25T17:11:54Z)
Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文参考訳（メタデータ） (2024-10-16T06:06:06Z)
AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [15.969280805269976]
AERA Chatは、生徒の回答の自動評価のために設計されたインタラクティブな視覚化プラットフォームである。 AERA Chatは複数の言語モデル(LLM)を活用して、生徒の回答を同時にスコアし、説明的合理性を生成する。複数のデータセットに対する複数の合理的生成手法の評価を通じて,プラットフォームの有効性を実証する。
論文参考訳（メタデータ） (2024-10-12T11:57:53Z)
Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文参考訳（メタデータ） (2022-09-07T10:09:12Z)
Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。