論文の概要: ViScratch: Using Large Language Models and Gameplay Videos for Automated Feedback in Scratch

• arxiv url: http://arxiv.org/abs/2509.11065v1
• Date: Sun, 14 Sep 2025 03:12:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.892661
• Title: ViScratch: Using Large Language Models and Gameplay Videos for Automated Feedback in Scratch
• Title（参考訳）: ViScratch:スクラッチにおけるフィードバック自動化のための大規模言語モデルとゲームプレイビデオの利用
• Authors: Yuan Si, Daming Li, Hanyuan Shi, Jialu Zhang,
• Abstract要約: 本稿では,Scratchのマルチモーダルフィードバック生成システムであるViScratchを紹介する。 視覚言語モデルはまず、視覚症状をコード構造と整列させ、1つの重要な問題を特定する。 実世界のScratchプロジェクトでのViScratchの評価を,最先端のLCMベースのツールや人間テスターに対して行った。
• 参考スコア（独自算出の注目度）: 1.9532610005311957
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Block-based programming environments such as Scratch are increasingly popular in programming education, in particular for young learners. While the use of blocks helps prevent syntax errors, semantic bugs remain common and difficult to debug. Existing tools for Scratch debugging rely heavily on predefined rules or user manual inputs, and crucially, they ignore the platform's inherently visual nature. We introduce ViScratch, the first multimodal feedback generation system for Scratch that leverages both the project's block code and its generated gameplay video to diagnose and repair bugs. ViScratch uses a two-stage pipeline: a vision-language model first aligns visual symptoms with code structure to identify a single critical issue, then proposes minimal, abstract syntax tree level repairs that are verified via execution in the Scratch virtual machine. We evaluate ViScratch on a set of real-world Scratch projects against state-of-the-art LLM-based tools and human testers. Results show that gameplay video is a crucial debugging signal: ViScratch substantially outperforms prior tools in both bug identification and repair quality, even without access to project descriptions or goals. This work demonstrates that video can serve as a first-class specification in visual programming environments, opening new directions for LLM-based debugging beyond symbolic code alone.
• Abstract（参考訳）: Scratchのようなブロックベースのプログラミング環境は、プログラミング教育、特に若い学習者にはますます人気がある。 ブロックの使用は構文エラーを防ぐのに役立つが、セマンティックなバグは一般的であり、デバッグは困難である。 既存のScratchデバッグツールは、事前に定義されたルールやユーザ手入力に大きく依存しており、プラットフォーム固有の視覚的性質を無視している。 我々は,プロジェクトのブロックコードと生成したゲームプレイビデオの両方を利用して,バグの診断と修復を行う,Scratchの最初のマルチモーダルフィードバック生成システムであるViScratchを紹介する。 ViScratchは2段階のパイプラインを使用する。視覚言語モデルはまず、視覚症状とコード構造を整列して、単一の重要な問題を特定し、次に、Scratch仮想マシンの実行によって検証される最小限の抽象構文ツリーレベルの修復を提案する。 実世界のScratchプロジェクトでのViScratchの評価を,最先端のLCMベースのツールや人間テスターに対して行った。 ViScratchは、プロジェクトの記述や目標にアクセスしなくても、バグ識別と修復品質の両方において、以前のツールよりも大幅に優れています。 この研究は、ビデオが視覚的プログラミング環境における第一級の仕様として機能し、シンボリックコードだけでなく、LLMベースのデバッグのための新しい方向を開くことを実証している。

関連論文リスト

• Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities [54.94982467313341]
  視覚言語モデル(VLM)は、様々な複雑なコンピュータビジョン問題に対処するための汎用ツールとして登場した。 我々は、設計のどのコンポーネントが欠落しているかを調査する一連のテストを構築することで、基本的な視覚的タスクにおけるSoTA VLMの限界を理解することにしました。
  論文  参考訳（メタデータ） (2025-07-10T15:26:41Z)
• A Proposal for a Debugging Learning Support Environment for Undergraduate Students Majoring in Computer Science [0.0]
  生徒はデバッガの使い方を知らないし、使ったこともない。 我々は,正しいブレークポイント配置の自己学習を可能にする機能をScratchに実装した。
  論文  参考訳（メタデータ） (2024-07-25T03:34:19Z)
• VDebugger: Harnessing Execution Feedback for Debugging Visual Programs [103.61860743476933]
  V Debuggerは、視覚プログラムのローカライズとデバッギングのために、段階的に実行を追跡することで訓練された、批評家とリファインダーのフレームワークである。 Vデバッガは、詳細な実行フィードバックを活用してプログラムエラーを特定し、修正する。 6つのデータセットの評価は、Vデバッガの有効性を示し、ダウンストリームタスクの精度が最大3.2%向上したことを示している。
  論文  参考訳（メタデータ） (2024-06-19T11:09:16Z)
• How Helpful do Novice Programmers Find the Feedback of an Automated Repair Tool? [1.2990666399718034]
  自動修復ツールであるCLARAを使って初心者にフィードバックを提供する経験について述べる。 まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。 初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-02T07:45:56Z)
• Predicting Defective Visual Code Changes in a Multi-Language AAA Video Game Project [54.20154707138088]
  視覚的コードメトリクスを含む視覚的コード欠陥予測モデルの構築に注力する。 我々は,AAAビデオゲームプロジェクトにおける歴史的不可知性から抽出した特徴を用いて,我々のモデルを検証した。 欠陥予測モデルでは,ROC曲線の下での面積で全体の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-07T00:18:43Z)
• BigIssue: A Realistic Bug Localization Benchmark [89.8240118116093]
  BigIssueは、現実的なバグローカライゼーションのためのベンチマークである。 実際のJavaバグと合成Javaバグの多様性を備えた一般的なベンチマークを提供する。 われわれは,バグローカライゼーションの最先端技術として,APRの性能向上と,現代の開発サイクルへの適用性の向上を期待している。
  論文  参考訳（メタデータ） (2022-07-21T20:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。