論文の概要: Leveraging BART to Assess CS1 C++ Programming Assignments using Rubric-based Criteria
- arxiv url: http://arxiv.org/abs/2606.03814v1
- Date: Tue, 02 Jun 2026 15:57:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.134411
- Title: Leveraging BART to Assess CS1 C++ Programming Assignments using Rubric-based Criteria
- Title(参考訳): BARTを活用してCS1 C++プログラミングのアサインメントをRubricベースの基準で評価する
- Authors: Kelsey Rainey, Jesse Roberts,
- Abstract要約: 本稿では,C++プログラムの代入を自動グレーディングするための変換器モデルのルーリック認識,マルチタスク微調整について検討する。
マルチセメスターCS1データを用いて、学生の応募は数値スコア、レターグレードバケット、代入ルーリックとペアリングされ、前処理され、トランスフォーマー入力のための統一シーケンスに変換される。
LoRA適応のBARTエンコーダデコーダは、数値グレードとグレードバケットを共同で予測し、予測されたグレードと経験的なグレードの分布を調整するために、分布マッチング項を付加するように訓練される。
- 参考スコア(独自算出の注目度): 2.1843439591862333
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: This paper investigates rubric-aware, multitask fine-tuning of transformer models for automated grading of introductory C++ programming assignments, with the goal of producing grade predictions that better reflect instructor grading behavior than general-purpose LLMs. Using multi-semester CS1 data, student submissions are paired with numeric scores, letter-grade buckets, and assignment rubrics, then preprocessed into unified sequences for transformer input. A BART encoder-decoder with LoRA adaptation is trained to jointly predict numeric grades and grade buckets, augmented with a distribution-matching term to align predicted and empirical grade distributions, an evaluation dimension often overlooked in prior work. Experiments compare single-task and multitask training, hard one-hot versus fuzzy and boundary-based soft labels, and rubric versus no-rubric conditions, with additional T5 and pairwise-pretrained variants. Results show that multitask BART with boundary-based soft labels and rubric context achieves lower mean absolute error and stronger grade-distribution alignment than single-task, hard-label, or code-only baselines. Fully fine-tuned T5 further improves distributional fidelity, while pairwise pretraining reduces numeric error at the cost of minority-class sensitivity. Collectively, the findings suggest that calibration-aware, rubric-guided training produces more instructor-like grading behavior than accuracy-optimized alternatives.
- Abstract(参考訳): 本稿では,汎用LLMよりもインストラクターのグレーティング動作をよりよく反映したグレード予測を実現することを目的として,イントロダクティブC++プログラミング課題の自動グレーディングのためのトランスフォーマーモデルのルーリック認識,マルチタスク微調整について検討する。
マルチセメスターCS1データを用いて、学生の応募は数値スコア、レターグレードバケット、代入ルーリックとペアリングされ、前処理され、トランスフォーマー入力のための統一シーケンスに変換される。
LoRA適応のBARTエンコーダデコーダは、数値グレードとグレードバケットを共同で予測し、予測されたグレード分布と経験的なグレード分布を一致させる分布マッチング項を付加する。
実験では、シングルタスクとマルチタスクのトレーニング、ハードワンホットとファジィとバウンダリベースのソフトラベル、ルブリックと非ルブリックの条件を比較し、追加のT5とペアで事前訓練された変種を比較した。
その結果、境界ベースのソフトラベルとルーブリックコンテキストを持つマルチタスクBARTは、単一タスク、ハードラベル、コードのみのベースラインよりも平均絶対誤差が低く、グレード分布のアライメントが強くなることがわかった。
完全に微調整されたT5は分布の忠実度をさらに向上する一方、ペアの事前訓練は少数クラスの感度を犠牲にして数値誤差を減少させる。
総合的に, 校正訓練は, 精度を最適化した代替手段よりも, インストラクターのような格付け行動をもたらすことが示唆された。
関連論文リスト
- Rethinking Zero-Shot Time Series Classification: From Task-specific Classifiers to In-Context Inference [34.15455500037426]
我々は、ラベル付きトレーニングセットをコンテキストとして扱い、単一のフォワードパスで全てのテストインスタンスのラベルを予測する、コンテキスト内学習フレームワークTIC-FMを提案する。
TIC-FMは、時系列エンコーダとスプリットメイク潜在メモリ変換器を備えた軽量プロジェクションアダプタをペアリングする。
128のUCRデータセットに対する実験は、極低ラベルの状況で一貫した利得で、強い精度を示す。
論文 参考訳(メタデータ) (2026-01-31T09:17:45Z) - Test-Time Adaptation with Binary Feedback [50.20923012663613]
BiTTAは、不確実なサンプルに対するバイナリフィードバック誘導適応と、確実な予測に対する合意に基づく自己適応のバランスをとる、新しいデュアルパス最適化フレームワークである。
実験の結果、BiTTAは最先端のベースラインよりも13.3%の精度向上を実現している。
論文 参考訳(メタデータ) (2025-05-24T05:24:10Z) - Test-Time Alignment via Hypothesis Reweighting [56.71167047381817]
大規模な事前訓練されたモデルは、しばしば未指定のタスクで苦労する。
テストタイムのユーザ意図にモデルを整合させるという課題に対処する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2024-12-11T23:02:26Z) - One-bit Supervision for Image Classification: Problem, Solution, and
Beyond [114.95815360508395]
本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。
多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。
複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
論文 参考訳(メタデータ) (2023-11-26T07:39:00Z) - Conditional Variational Autoencoder with Balanced Pre-training for
Generative Adversarial Networks [11.46883762268061]
クラス不均衡は、各クラスの画像数が大きく異なる画像分類を含む多くの実世界のアプリケーションで発生する。
不均衡なデータでは、GAN(Generative Adversarial Network)は多数派に傾いている。
本稿では, リアルな合成画像を生成するための拡張ツールとして, CAPGAN (Geneversarative Adrial Networks) のためのバランス付き事前学習機能を備えた新しい変分オートエンコーダを提案する。
論文 参考訳(メタデータ) (2022-01-13T06:52:58Z) - Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。
尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。
そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
論文 参考訳(メタデータ) (2022-01-08T07:48:36Z) - Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。
プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。
我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
論文 参考訳(メタデータ) (2021-10-22T01:55:01Z) - Adaptive Consistency Regularization for Semi-Supervised Transfer
Learning [31.66745229673066]
我々は,半教師付き学習と移動学習を共同で検討し,より実践的で競争的なパラダイムへと導いた。
事前学習した重みとラベルなしの目標サンプルの両方の価値をよりよく活用するために、適応整合正則化を導入する。
提案手法は,Pseudo Label,Mean Teacher,MixMatchといった,最先端の半教師付き学習技術より優れた適応整合性正規化を実現する。
論文 参考訳(メタデータ) (2021-03-03T05:46:39Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳(メタデータ) (2020-04-29T10:54:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。