論文の概要: CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming

• arxiv url: http://arxiv.org/abs/2607.05571v1
• Date: Mon, 06 Jul 2026 19:15:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-08 21:24:51.306256
• Title: CSTutorBench: Benchmarking Small Language Models as Tutors for Block-Based Programming
• Title（参考訳）: CSTutorBench: ブロックベースのプログラミングのためのチュータとして小さな言語モデルをベンチマークする
• Abstract要約: 大規模な言語モデルは、AI家庭教師としてますます探求されているが、K-12設定にデプロイすることで、プライバシやコスト、プロプライエタリなモデルへの依存に関する懸念が高まる。 小型言語モデル(SLM)は有望な代替手段を提供するが、特定の教育的文脈に対して適切なモデルを選択することは依然として困難である。 我々は,ブロックベースのロボティクス環境であるVEX VRにおいて,CSチューターとして言語モデルを評価するためのベンチマークであるCSTutorBenchを紹介する。
• 参考スコア（独自算出の注目度）: 0.48342038441006796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly explored as AI tutors, yet deploying them in K-12 settings raises concerns around privacy, cost, and reliance on proprietary models. Small language models (SLMs) offer a promising alternative, but selecting the right model for a specific educational context remains difficult, particularly when the target domain, such as block-based programming, is largely absent from model training data. We introduce CSTutorBench, a benchmark for evaluating language models as CS tutors in VEX VR, a block-based robotics environment. The benchmark comprises 17 scenario-based questions scored against a pedagogical rubric grounded in established tutoring and feedback research, with a human-in-the-loop LLM-as-judge pipeline for evaluation. Preliminary findings across 11 models (4B-120B parameters) reveal that models perform well on surface-level criteria such as vocabulary and tone but struggle with deeper pedagogical behaviors, particularly avoiding answer leakage and engaging with student debugging histories. In our sample, model family and instruction-tuning approach appear to be better predictors of tutoring quality than parameter count alone, though the small number of models limits the strength of this conclusion. A targeted prompt revision grounded in recent educational prompt engineering research improved scores for 10 of 11 models. These results underscore the value of context-specific, pedagogically grounded benchmarks for SLM selection in educational deployment.
• Abstract（参考訳）: 大規模な言語モデルは、AI家庭教師としてますます探求されているが、K-12設定にデプロイすることで、プライバシやコスト、プロプライエタリなモデルへの依存に関する懸念が高まる。 小型言語モデル(SLM)は有望な代替手段を提供するが、特定の教育コンテキストに対して適切なモデルを選択することは、特にブロックベースのプログラミングのような対象ドメインがモデルトレーニングデータにほとんど欠落している場合、依然として困難である。 我々は,ブロックベースのロボティクス環境であるVEX VRにおいて,CSチューターとして言語モデルを評価するためのベンチマークであるCSTutorBenchを紹介する。 このベンチマークは、確立したチュータリングとフィードバック研究で根拠付けられた教育用ルーブリックに対して得られたシナリオベースの17の質問と、評価のための人間-イン・ザ・ループ LLM-as-judge パイプラインで構成されている。 11モデル(4B-120Bパラメータ)にまたがる予備的な発見は、語彙やトーンのような表面レベルの基準ではモデルが良好に機能するが、特に解答漏れを回避し、学生のデバッグ履歴に係わるより深い教育的行動に苦慮していることを示している。 サンプルでは,モデルファミリと命令チューニングアプローチは,パラメータ数単独よりも学習品質の予測因子として優れているが,少数のモデルではこの結論の強度に制限がある。 最近の教育用プロンプトエンジニアリング研究において、ターゲットとしたプロンプト修正は、11モデル中10モデルのスコアを改善した。 これらの結果は、教育展開におけるSLM選択のための文脈固有の、教育的な基盤となるベンチマークの価値を裏付けるものである。

関連論文リスト

• GRADE: Generalizable Reasoning-Aware Dialogue Evaluation for AI Tutors [5.831342304669597]
  GRADEは、学生-教師対話における教育能力評価のためのオープンソースモデルの体系的研究である。 ゼロショット推論, LoRAファインチューニング, 合成拡張, CoT+Reasoning, シングルタスク対マルチタスクの定式化など, 5つの言語モデルにわたる120の構成を評価した。
  論文  参考訳（メタデータ） (2026-05-27T02:26:55Z)
• EduBench: A Comprehensive Benchmarking Dataset for Evaluating Large Language Models in Diverse Educational Scenarios [41.370448581863194]
  教育シナリオに適した最初の多様なベンチマークを紹介します。 本稿では,教師と学生の両方に関係のある12つの重要な側面をカバーする多次元評価指標を提案する。 構築したデータセット上で比較的小規模なモデルをトレーニングし、最先端の大規模モデルに匹敵するパフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-05-22T03:01:28Z)
• Tuning-Free Personalized Alignment via Trial-Error-Explain In-Context Learning [74.56097953187994]
  本稿では,テキスト生成タスクのための言語モデルをパーソナライズするチューニング不要な手法であるTrial-Error-Explain In-Context Learning(TICL)を提案する。 TICLは、試行錯誤説明プロセスを通じて、文脈内学習プロンプトを反復的に拡張し、モデル生成陰性サンプルと説明を追加する。 TICLは従来の最先端技術に対して最大91.5%を達成し、パーソナライズされたアライメントタスクのための競争的なチューニング不要のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-13T05:20:21Z)
• Unlocking the Potential of Multiple BERT Models for Bangla Question Answering in NCTB Textbooks [0.0]
  教育環境におけるテキスト理解の評価は,学生のパフォーマンスの理解とカリキュラムの有効性の向上に不可欠である。 本研究では,国立カリキュラム・テキストブックボード(NCTB)の授業6-10用教科書から,Bangla節に基づく質問応答を自動的に評価する,最先端の言語モデルであるRoBERTa Base,Bangla-BERT,BERT Base-inの能力について検討した。
  論文  参考訳（メタデータ） (2024-12-24T13:59:23Z)
• Generative Judge for Evaluating Alignment [84.09815387884753]
  本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。 我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。 実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
  論文  参考訳（メタデータ） (2023-10-09T07:27:15Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• INSTRUCTEVAL: Towards Holistic Evaluation of Instruction-Tuned Large Language Models [39.46610170563634]
  INSTRUCTEVALは、命令調整された大規模言語モデルのために特別に設計された、より包括的な評価スイートである。 我々は,事前学習の基礎,指導指導データ,訓練方法など,モデル性能に影響を与える諸要因を総合的に分析する。 その結果, モデル性能のスケーリングにおいて, 命令データの品質が最も重要な要因であることが判明した。
  論文  参考訳（メタデータ） (2023-06-07T20:12:29Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。