論文の概要: Handwritten Code Recognition for Pen-and-Paper CS Education

• arxiv url: http://arxiv.org/abs/2408.07220v1
• Date: Wed, 7 Aug 2024 21:02:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 03:47:26.546595
• Title: Handwritten Code Recognition for Pen-and-Paper CS Education
• Title（参考訳）: ペン・アンド・ペーパーCS教育のための手書き符号認識
• Authors: Md Sazzad Islam, Moussa Koulako Bala Doumbouya, Christopher D. Manning, Chris Piech,
• Abstract要約: 学生が紙に手書きのプログラムを書くことでコンピュータサイエンス(CS)を教えることは、教育学の重要な利点である。 しかし、現在手書きプログラムを運用するための教育方法やサポートソフトウェアが不足している点が大きな障害となっている。 提案手法は2つの革新的手法を統合し,第1に,幻覚を伴わずに,OCR後誤り訂正のための言語モデルとインデント認識モジュールを組み合わせる。
• 参考スコア（独自算出の注目度）: 33.53124589437863
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Teaching Computer Science (CS) by having students write programs by hand on paper has key pedagogical advantages: It allows focused learning and requires careful thinking compared to the use of Integrated Development Environments (IDEs) with intelligent support tools or "just trying things out". The familiar environment of pens and paper also lessens the cognitive load of students with no prior experience with computers, for whom the mere basic usage of computers can be intimidating. Finally, this teaching approach opens learning opportunities to students with limited access to computers. However, a key obstacle is the current lack of teaching methods and support software for working with and running handwritten programs. Optical character recognition (OCR) of handwritten code is challenging: Minor OCR errors, perhaps due to varied handwriting styles, easily make code not run, and recognizing indentation is crucial for languages like Python but is difficult to do due to inconsistent horizontal spacing in handwriting. Our approach integrates two innovative methods. The first combines OCR with an indentation recognition module and a language model designed for post-OCR error correction without introducing hallucinations. This method, to our knowledge, surpasses all existing systems in handwritten code recognition. It reduces error from 30\% in the state of the art to 5\% with minimal hallucination of logical fixes to student programs. The second method leverages a multimodal language model to recognize handwritten programs in an end-to-end fashion. We hope this contribution can stimulate further pedagogical research and contribute to the goal of making CS education universally accessible. We release a dataset of handwritten programs and code to support future research at https://github.com/mdoumbouya/codeocr
• Abstract（参考訳）: 知的支援ツールを用いた統合開発環境(IDE)や「単に物事を試す」ことに比べ、集中学習が可能であり、注意深い思考が必要である。 ペンや紙の慣れ親しんだ環境は、コンピュータの経験のない学生の認知負荷を減らします。 最後に、この教育アプローチは、コンピュータへのアクセスが限られている学生に学習機会を開放する。 しかし、現在手書きプログラムを運用するための教育方法やサポートソフトウェアが不足している点が大きな障害となっている。 手書きコードの光学文字認識(OCR)は、難しい。 マイナーなOCRエラーは、おそらく様々な手書きスタイルのために、コードの実行を困難にし、インデンテーションの認識はPythonのような言語には不可欠だが、手書きの水平間隔が矛盾しているため、実行が困難である。 我々の手法は2つの革新的な方法を統合する。 1つ目は、OCRとインデント認識モジュールと、幻覚を導入することなく、OCR後の誤り訂正のために設計された言語モデルを組み合わせたものである。 この方法は、我々の知る限り、手書きのコード認識において、既存のすべてのシステムを上回る。 これは、学生プログラムに対する論理的修正の最小限の幻覚で、最先端の30 %から5 %に誤差を減少させる。 第2の方法は、多モーダル言語モデルを利用して、エンドツーエンドで手書きプログラムを認識する。 この貢献により、さらなる教育研究が促進され、CS教育を普遍的に利用できるようにするという目標に貢献できることを願っている。 我々は、将来の研究をサポートする手書きプログラムとコードのデータセットをhttps://github.com/mdoumbouya/codeocrでリリースします。

関連論文リスト

• Integrating Natural Language Prompting Tasks in Introductory Programming Courses [3.907735250728617]
  本報告では、導入プログラミングコースに2つのプロンプトに焦点を当てたアクティビティを組み込むことについて検討する。 第一に、学生は自然言語のプロンプトを書き、構文上の問題解決を強調することで、計算問題を解く必要がある。 2つ目は、プロンプトとコードの関係を理解するために、提供されたフラグメントに相当するコードを生成するプロンプトを作成することである。
  論文  参考訳（メタデータ） (2024-10-04T01:03:25Z)
• Guess & Sketch: Language Model Guided Transpilation [59.02147255276078]
  学習されたトランスパイレーションは、手作業による書き直しやエンジニアリングの取り組みに代わるものだ。 確率的ニューラルネットワークモデル(LM)は、入力毎に可塑性出力を生成するが、正確性を保証するコストがかかる。 Guess & Sketch は LM の特徴からアライメントと信頼性情報を抽出し、意味的等価性を解決するためにシンボリック・ソルバに渡す。
  論文  参考訳（メタデータ） (2023-09-25T15:42:18Z)
• Thinking beyond chatbots' threat to education: Visualizations to elucidate the writing and coding process [0.0]
  言語教育と学習のための教育実践のランドスケープは、主に結果駆動のアプローチに焦点が当てられている。 最近の大規模言語モデルのアクセシビリティは、これらのアプローチを徹底的に破壊している。 本研究は,学習者の書面やプログラミングプロセスの本質的および教えられた能力を要約する,新しい可視化ツールを提案する。
  論文  参考訳（メタデータ） (2023-04-25T22:11:29Z)
• An end-to-end, interactive Deep Learning based Annotation system for cursive and print English handwritten text [0.0]
  我々は、印刷版とカーシブ版の両方で書かれたオフライン手書きの原稿に注釈を付ける、革新的で完全なエンドツーエンドパイプラインを提示する。 本手法は,最先端のテキスト検出モデルに基づいて構築された検出システムと,認識システムのための独自のDeep Learningモデルとのアーキテクチャ結合を含む。
  論文  参考訳（メタデータ） (2023-04-18T00:24:07Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Lexically Aware Semi-Supervised Learning for OCR Post-Correction [90.54336622024299]
  世界中の多くの言語における既存の言語データの多くは、非デジタル化された書籍や文書に閉じ込められている。 従来の研究は、あまり良くない言語を認識するためのニューラル・ポスト・コレクション法の有用性を実証してきた。 そこで本研究では,生画像を利用した半教師付き学習手法を提案する。
  論文  参考訳（メタデータ） (2021-11-04T04:39:02Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Exploring a Handwriting Programming Language for Educational Robots [1.310461046819527]
  本研究は,教育ロボットのための手書き型プログラム言語の開発について述べる。 学生は通常のペンと紙でシンボルを描くことでロボットをプログラムできる。 このシステムは、8人の教師、開発者、教育研究者による予備試験で評価された。
  論文  参考訳（メタデータ） (2021-05-11T12:00:34Z)
• Skeleton Based Sign Language Recognition Using Whole-body Keypoints [71.97020373520922]
  手話は聴覚障害者や言語障害者のコミュニケーションに使用される。 また,RGB-D法と組み合わせて最先端の性能を実現することで,Skeletonに基づく音声認識が普及しつつある。 近年のボディポーズ推定用citejin 2020wholeの開発に触発されて,全身キーポイントと特徴に基づく手話認識を提案する。
  論文  参考訳（メタデータ） (2021-03-16T03:38:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。