論文の概要: Rubric-Based Assessment of Student Reports Using Small Language Models

• arxiv url: http://arxiv.org/abs/2611.01785v1
• Date: Sun, 01 Nov 2026 10:46:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.498909
• Title: Rubric-Based Assessment of Student Reports Using Small Language Models
• Title（参考訳）: ルーブリックに基づく小言語モデルを用いた学生報告の評価
• Abstract要約: 本研究は,低リソース環境のための設計,プライバシ,サイバーセキュリティ教育における新たなコンテキストに焦点を当てた,3つの主要な目標を持つ自動アセスメントパイプラインを評価する。 その結果,低リソース環境ではテキストのみの精度が最大97%,リッチテキストアセスメントの最大94%を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 0.13999481573773068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models can analyze and assess student texts using predefined rubrics and deliver structured feedback, reducing instructors' workload. However, existing solutions often rely on external services that are resource-intensive, costly, and raise privacy concerns, making them unsuitable for constrained environments. This study evaluates an automated assessment pipeline with three key aims: design for low-resource environments, privacy, and focus on a novel context in cybersecurity education. The pipeline integrates lightweight language models for textual evaluation and a vision-language model for image interpretation. Responses from 105 students were collected over two semesters of an undergraduate course during a cybersecurity exercise on incident response. Results across different hardware configurations show that small models in low-resource environments can achieve up to 97% accuracy in text-only and up to 94% in rich-text assessments. This rivals or even outperforms a large model while adding the benefits of locally hosted assessment. Our solution can help educators and practitioners who need grading assistance without replacing human oversight, especially in environments where cloud-based solutions may be impractical. This study contributes an open-source, locally deployable AI-assisted scoring pipeline that runs on affordable hardware and can be extended to various types of student reports in computing education. As a result, it makes automated assessment accessible to a broad range of educators and institutions.
• Abstract（参考訳）: 言語モデルは、事前に定義されたルーブリックを使用して学生のテキストを分析して評価し、構造化されたフィードバックを提供し、インストラクターの作業負荷を減らすことができる。 しかし、既存のソリューションはリソース集約的でコストがかかる外部サービスに依存し、プライバシー上の懸念を生じさせるため、制約のある環境には適さないことが多い。 本研究は,低リソース環境のための設計,プライバシ,サイバーセキュリティ教育における新たなコンテキストに焦点を当てた,3つの主要な目標を持つ自動アセスメントパイプラインを評価する。 このパイプラインは、テキスト評価のための軽量言語モデルと、画像解釈のためのビジョン言語モデルを統合する。 インシデント対応のサイバーセキュリティ演習中,105名の学生から,学部2学期以上で回答が得られた。 異なるハードウェア構成による結果から、低リソース環境の小さなモデルでは、テキストのみの精度が97%、リッチテキストアセスメントの精度が94%に達することが示されている。 これは、ローカルにホストされたアセスメントの利点を付加しながら、大きなモデルに匹敵するか、あるいは性能を上回ります。 私たちのソリューションは、特にクラウドベースのソリューションが現実的でない環境において、人間の監視を置き換えることなく、段階的な支援を必要とする教育者や実践者を支援することができます。 この研究は、オープンソースの、ローカルにデプロイ可能なAI支援スコアリングパイプラインに貢献し、安価なハードウェア上で動作し、コンピューティング教育における様々なタイプの学生レポートに拡張することができる。 その結果、幅広い教育者や機関が自動評価を利用できるようになった。

関連論文リスト

• SCRIBE: Structured Chain Reasoning for Interactive Behaviour Explanations using Tool Calling [9.113268651219187]
  SCRIBEは、フィードバックレポートに関する学生の質問に対する有効な応答を生成するために、マルチホップでツール強化された推論のためのフレームワークである。 GPT-Judgeによる評価と108人の学生によるユーザスタディは、8B-SCRIBEモデルがより大きなモデルに匹敵する品質または優れた品質を達成していることを示している。
  論文  参考訳（メタデータ） (2025-10-30T10:17:05Z)
• Towards an Efficient, Customizable, and Accessible AI Tutor [5.225254533678075]
  本稿では,小型言語モデル(SLM)と頑健な検索機構を組み合わせた,オフラインの検索-拡張生成(RAG)パイプラインを提案する。 我々は,このパイプラインの有効性を,生物学のコースワークに焦点をあてて,ドメイン固有の教育コンテンツを用いて評価する。
  論文  参考訳（メタデータ） (2025-10-04T13:33:40Z)
• Leveraging Small LLMs for Argument Mining in Education: Argument Component Identification, Classification, and Assessment [7.673465837624366]
  本稿では,オープンソースの小型大言語モデル(LLM)を,数発のプロンプトと微調整による議論マイニングに活用することを提案する。 我々は,学生エッセイを議論に分割し,タイプ別に議論を分類し,その質を評価する3つの課題を遂行する。 我々は,小学校6-12年の学生エッセイのフィードバック賞 - 効果的なアグメンツデータセットのモデルを実証的に評価した。
  論文  参考訳（メタデータ） (2025-02-20T09:23:40Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• Towards LLM-based Autograding for Short Textual Answers [4.853810201626855]
  この写本は、自動階調のための大きな言語モデルの評価である。 のLCMは貴重なツールであるが、独立した自動グルーピングのための準備がまだ進行中であることを示唆している。
  論文  参考訳（メタデータ） (2023-09-09T22:25:56Z)
• Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
  視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。 モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。 このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
  論文  参考訳（メタデータ） (2023-07-25T17:59:18Z)
• Opportunities and Challenges in Neural Dialog Tutoring [54.07241332881601]
  言語学習のための2つの対話学習データセットを用いて、様々な生成言語モデルを厳密に分析する。 現在のアプローチでは、制約のある学習シナリオでチューリングをモデル化できますが、制約の少ないシナリオではパフォーマンスが悪くなります。 人的品質評価では, モデルと接地木アノテーションの両方が, 同等のチュータリングの点で低い性能を示した。
  論文  参考訳（メタデータ） (2023-01-24T11:00:17Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。