論文の概要: Exploring the Effectiveness of Using LLMs for Automated Assessment of Student Self Explanations in Programming Education

• arxiv url: http://arxiv.org/abs/2605.21614v1
• Date: Wed, 20 May 2026 18:22:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.474826
• Title: Exploring the Effectiveness of Using LLMs for Automated Assessment of Student Self Explanations in Programming Education
• Title（参考訳）: プログラミング教育における学生の自己説明の自動評価におけるLLMの有効性の検討
• Authors: Arun-Balajiee Lekshmi-Narayanan, Mohammad Hassany, Peter Brusilovsky,
• Abstract要約: 問題解決の例は自己説明と組み合わせることができる。 このアプローチの主な課題は、学生の説明の正しさを評価することである。 自動スコアリングの最近の進歩は、意味的類似性法が依然として最も効果的な手法であるかどうかは不明である。
• 参考スコア（独自算出の注目度）: 2.0515041144768134
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Worked examples are step-by-step solutions to problems in a specific domain, offered to students to acquire domain-specific problem-solving skills. The effectiveness of worked examples could be enhanced by combining them with self-explanations, which ask students to explain rather than passively study each problem-solving step. The main challenge of this approach is assessing the correctness of the student's explanations. In the prevailing approach, student explanations are judged by their semantic similarity to an instructor's or domain expert's explanation. Given recent advances in LLM-based automated scoring, it remains unclear whether semantic similarity methods are still the most effective technique to automatically score textual student responses like essays or code explanations. Comparing these methods also requires quality datasets that offer distinctive features such as balanced class distributions and domain-specific labeled data for automated scoring tasks. In this paper, we present a rigorous comparison between LLMs and semantic similarity used for automated scoring, framed as a binary classification task.
• Abstract（参考訳）: 実験的な例は、特定のドメインにおける問題のステップバイステップのソリューションであり、学生がドメイン固有の問題解決スキルを取得するために提供される。 作業例の有効性は,各問題解決ステップを受動的に研究するのではなく,学生に説明を求める自己説明と組み合わせることで向上することができる。 このアプローチの主な課題は、学生の説明の正しさを評価することである。 主流のアプローチでは、学生の説明はインストラクターやドメインエキスパートの説明と意味的類似性から判断される。 LLMに基づく自動スコアリングの最近の進歩を踏まえると、意味的類似性手法が、エッセイやコード説明のようなテキストによる学生の反応を自動的に評価する最も効果的な手法であるかどうかは不明である。 これらの手法を比較するには、バランスの取れたクラス分布や、自動スコアリングタスクのためのドメイン固有のラベル付きデータといった特徴を備えた品質データセットも必要である。 本稿では,LLMと自動スコアリングに使用される意味的類似性との厳密な比較について述べる。

関連論文リスト

• Semantic Voting: A Self-Evaluation-Free Approach for Efficient LLM Self-Improvement on Unverifiable Open-ended Tasks [38.058215007885096]
  大規模言語モデル(LLM)の自己評価は高い計算オーバーヘッドをもたらし、本質的なバイアスによる過信問題を引き起こす。 本稿では、軽量で効果的な自己改善を目的とした、検証不能なタスクに対する新しい自己評価自由アプローチを提案する。
  論文  参考訳（メタデータ） (2025-09-27T02:44:05Z)
• SPARE: Single-Pass Annotation with Reference-Guided Evaluation for Automatic Process Supervision and Reward Modelling [58.05959902776133]
  私たちはSingle-Passを紹介します。 Reference-Guided Evaluation (SPARE)は、効率的なステップごとのアノテーションを可能にする新しい構造化フレームワークである。 数学的推論(GSM8K, MATH)、マルチホップ質問応答(MuSiQue-Ans)、空間推論(SpaRP)にまたがる4つの多様なデータセットにおけるSPAREの有効性を実証する。 ProcessBenchでは、SPAREがデータ効率のよいアウト・オブ・ディストリビューションの一般化を実証し、トレーニングサンプルの$sim$16%しか使用していない。
  論文  参考訳（メタデータ） (2025-06-18T14:37:59Z)
• Improve LLM-based Automatic Essay Scoring with Linguistic Features [46.41475844992872]
  本稿では,多様なプロンプトにまたがってエッセイを処理できるスコアリングシステムを開発した。 既存のメソッドは通常、2つのカテゴリに分類される: 教師付き特徴ベースのアプローチと、大きな言語モデル(LLM)ベースの方法。
  論文  参考訳（メタデータ） (2025-02-13T17:09:52Z)
• Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
  大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。 提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
  論文  参考訳（メタデータ） (2024-06-28T20:06:30Z)
• Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals [5.565480386188035]
  提案手法は,大規模言語モデルによって支援された対実的介入を用いて,BERTのようなモデルが主に文レベルの特徴に焦点を当てていることを明らかにする。 我々のアプローチは、ニューラルネットワークAES手法の理解を改善し、モデル駆動決定における透明性を求める他の領域にも適用できる。
  論文  参考訳（メタデータ） (2024-05-29T18:16:32Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• Automated Assessment of Students' Code Comprehension using LLMs [0.3293989832773954]
  大規模言語モデル(LLM)とエンコーダベースのセマンティックテキスト類似(STS)モデルを評価する。 この結果から,LLMはプログラミング領域における生徒の短解評価において,微調整エンコーダモデルに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2023-12-19T20:39:12Z)
• Navigating the Pitfalls of Active Learning Evaluation: A Systematic Framework for Meaningful Performance Assessment [3.3064235071867856]
  アクティブラーニング(AL)は、ラベルなしデータのプールから最も情報性の高いサンプルをインタラクティブに選択することで、ラベル付けの負担を軽減することを目的としている。 半教師型(Semi-SL)や自己教師型学習(Self-SL)のような新興パラダイムと比較して、ALの有効性を疑問視する研究もある。
  論文  参考訳（メタデータ） (2023-01-25T15:07:44Z)
• Can Active Learning Preemptively Mitigate Fairness Issues? [66.84854430781097]
  データセットバイアスは、機械学習における不公平な原因の1つです。 不確実性に基づくALで訓練されたモデルが保護クラスの決定において公平であるかどうかを検討する。 また,勾配反転(GRAD)やBALDなどのアルゴリズム的公正性手法の相互作用についても検討する。
  論文  参考訳（メタデータ） (2021-04-14T14:20:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。