論文の概要: Raven: Rethinking Automated Assessment for Scratch Programs via Video-Grounded Evaluation

• arxiv url: http://arxiv.org/abs/2604.17820v1
• Date: Mon, 20 Apr 2026 05:19:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.70687
• Title: Raven: Rethinking Automated Assessment for Scratch Programs via Video-Grounded Evaluation
• Title（参考訳）: Raven: ビデオグラウンドアセスメントによるスクラッチプログラムの自動アセスメントの再考
• Authors: Donglin Li, Daming Li, Hanyuan Shi, Jialu Zhang,
• Abstract要約: Scratchのための自動アセスメントフレームワークであるRavenを紹介します。 Ravenは、プログラム固有のステートアサーションをインストラクター仕様のタスクレベルのビデオ生成ルールに置き換える。 Ravenは、グルーピング精度とロバスト性の両方において、以前の自動アセスメントツールよりも大幅に優れています。
• 参考スコア（独自算出の注目度）: 5.935863517527246
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Block-based programming environments such as Scratch are widely used in introductory computing education, yet scalable and reliable automated assessment remains elusive. Scratch programs are highly heterogeneous, event-driven, and visually grounded, which makes traditional assertion-based or test-based grading brittle and difficult to scale. As a result, assessment in real Scratch classrooms still relies heavily on manual inspection and delayed feedback, introducing inconsistency across instructors and limiting scalability. We present Raven, an automated assessment framework for Scratch that replaces program-specific state assertions with instructor-specified, task-level video generation rules shared across all student submissions. Raven integrates large language models with video analysis to evaluate whether a program's observed visual and interactive behaviors satisfy grading criteria, without requiring explicit test cases or predefined outputs. This design enables consistent evaluation despite substantial diversity in implementation strategies and interaction sequences. We evaluate Raven on 13 real Scratch assignments comprising over 140 student submissions with ground-truth labels from human graders. The results show that Raven significantly outperforms prior automated assessment tools in both grading accuracy and robustness across diverse programming styles. A classroom study with 30 students and 10 instructors further demonstrates strong user acceptance and practical applicability. Together, these findings highlight the effectiveness of task-level behavioral abstractions for scalable assessment of open-ended, event-driven programs.
• Abstract（参考訳）: Scratchのようなブロックベースのプログラミング環境は、導入型コンピューティング教育で広く使われているが、スケーラブルで信頼性の高い自動評価はいまだ解明されていない。 Scratchプログラムは、非常に異質で、イベント駆動で、視覚的に接地されているため、従来のアサーションベースまたはテストベースのグレーディングが不安定で、スケールが難しい。 結果として、実際のScratch教室における評価は、手動検査や遅延フィードバック、インストラクター間の不整合の導入、スケーラビリティの制限に大きく依存している。 我々は,Scratchの自動アセスメントフレームワークであるRavenを紹介した。プログラム固有の状態アサーションを,すべての学生が共有するインストラクター仕様のタスクレベルビデオ生成ルールに置き換える。 Ravenは、大規模な言語モデルとビデオ分析を統合して、プログラムの観察された視覚的およびインタラクティブな振る舞いが、明示的なテストケースや事前定義されたアウトプットを必要とせず、グレーディング基準を満たすかどうかを評価する。 この設計は、実装戦略や相互作用シーケンスにかなりの多様性があるにもかかわらず、一貫した評価を可能にする。 そこで,本研究では,140人以上の学生を対象とする13の実際のScratch課題に対するRavenの評価を行った。 その結果、Ravenは、様々なプログラミングスタイルにおける精度と堅牢性の両方において、事前の自動評価ツールよりも大幅に優れていた。 30人の生徒と10人のインストラクターによる授業研究は、ユーザ受け入れと実践性をさらに向上させる。 これらの知見は,オープンエンドのイベント駆動型プログラムをスケーラブルに評価するためのタスクレベルの行動抽象化の有効性を浮き彫りにした。

関連論文リスト

• Evaluating AI Grading on Real-World Handwritten College Mathematics: A Large-Scale Study Toward a Benchmark [9.922581736690159]
  カリフォルニア大学アーバイン校(UC Irvine)の実際の手書き電卓におけるAIのグルーピングに関する大規模な実証的研究について述べる。 OCR条件付き大規模言語モデルを用いて, 何千もの応答型クイズ入力に対して, スコアと形式的フィードバックを生成する。 本研究は,1つの基礎的ラベルを持たない環境下で,公的な指導助成学級,学生調査,独立人レビューに対する評価を行った。
  論文  参考訳（メタデータ） (2026-03-01T03:32:51Z)
• See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch [20.231957791642635]
  本稿では,Scratchにおけるプログラム・バイ・コンストラクションタスクにおけるマルチモーダルGUIエージェントの評価ベンチマークであるScratchWorldを紹介する。 ScratchWorldは、Create、Debug、Extended、Computeの4つの異なる問題カテゴリにまたがる83のキュレートされたタスクで構成されている。 信頼性の高い評価を実現するため,構築したScratchプログラムの機能的正当性を検証した実行ベース評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-02-11T12:54:53Z)
• Stitch: Step-by-step LLM Guided Tutoring for Scratch [1.8206350996077172]
  そこで我々は,Stitchを紹介した。Stitchは対話型学習システムで,"答えの描画"をステップバイステップの足場に置き換える。 我々は、Scratchのための最新の自動フィードバック生成ツールと比較し、Stitchを実証的研究で評価した。
  論文  参考訳（メタデータ） (2025-10-30T16:03:56Z)
• Ratas framework: A comprehensive genai-based approach to rubric-based marking of real-world textual exams [3.4132239125074206]
  RATAS(Rubric Automated Tree-based Answer Scoring)は、テキスト応答のルーリックベースのグレーディングに最先端の生成AIモデルを活用する新しいフレームワークである。 RATASは、幅広いグレーディングルーリックをサポートし、主観的評価を可能にし、割り当てられたスコアに対して構造化された説明可能な論理を生成するように設計されている。
  論文  参考訳（メタデータ） (2025-05-27T22:17:27Z)
• A Block-Based Testing Framework for Scratch [9.390562437823078]
  自動テストの作成を可能にするブロックのカテゴリをScratchに導入する。 これらのブロックによって、学生や教師もテストを作成し、Scratch環境内で直接フィードバックを受け取ることができる。
  論文  参考訳（メタデータ） (2024-10-11T14:11:26Z)
• From Adversarial Arms Race to Model-centric Evaluation: Motivating a Unified Automatic Robustness Evaluation Framework [91.94389491920309]
  テキストの敵対攻撃は、セマンティック保存されているが、入力に誤解を招く摂動を加えることでモデルの弱点を発見することができる。 既存のロバストネス評価の実践は、包括的評価、非現実的評価プロトコル、無効な対人サンプルの問題を示す可能性がある。 我々は、敵攻撃の利点を活用するために、モデル中心の評価にシフトする統合された自動ロバストネス評価フレームワークを構築した。
  論文  参考訳（メタデータ） (2023-05-29T14:55:20Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• CompGuessWhat?!: A Multi-task Evaluation Framework for Grounded Language Learning [78.3857991931479]
  本稿では,属性を用いたグラウンドド言語学習のための評価フレームワークGROLLAを提案する。 また、学習したニューラル表現の品質を評価するためのフレームワークの例として、新しいデータセットCompGuessWhat!?を提案する。
  論文  参考訳（メタデータ） (2020-06-03T11:21:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。