論文の概要: Probeable Problems for Beginner-level Programming-with-AI Contests
- arxiv url: http://arxiv.org/abs/2405.15123v1
- Date: Fri, 24 May 2024 00:39:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 18:38:12.482377
- Title: Probeable Problems for Beginner-level Programming-with-AI Contests
- Title（参考訳）: ベジナーレベルのプログラミングとAIのコンテストの確率的問題
- Authors: Mrigank Pawagi, Viraj Kumar,
- Abstract要約: 我々は,複数の機関の学部生を対象に,2時間のプログラミングコンテストを実施している。
学生は個人またはグループで働けるようになり、AIツールを自由に使えるようになった。
これらのグループによって提出されたコードが、欠落した詳細を特定できる範囲を分析し、形式的および非公式なCS教育文脈における学習を支援する方法を特定する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To broaden participation, competitive programming contests may include beginner-level problems that do not require knowledge of advanced Computer Science concepts (e.g., algorithms and data structures). However, since most participants have easy access to AI code-generation tools, these problems often become trivial to solve. For beginner-friendly programming contests that do not prohibit the use of AI tools, we propose Probeable Problems: code writing tasks that provide (1) a problem specification that deliberately omits certain details, and (2) a mechanism to probe for these details by asking clarifying questions and receiving immediate feedback. To evaluate our proposal, we conducted a 2-hour programming contest for undergraduate Computer Science students from multiple institutions, where each student was an active member of their institution's computing club. The contest comprised of six Probeable Problems for which a popular code-generation tool (GitHub Copilot) was unable to generate accurate solutions due to the absence of details. Students were permitted to work individually or in groups, and were free to use AI tools. We obtained consent from 26 groups (67 students) to use their submissions for research. We analyze the extent to which the code submitted by these groups identifies missing details and identify ways in which Probeable Problems can support learning in formal and informal CS educational contexts.
- Abstract（参考訳）: 参加を広げるために、競争プログラミングコンテストには、先進的なコンピュータ科学の概念(アルゴリズムやデータ構造など)の知識を必要としない初心者レベルの問題が含まれる。
しかし、ほとんどの参加者はAIコード生成ツールに簡単にアクセスできるため、これらの問題はしばしば解決し易くなる。
本稿では,AIツールの使用を禁止しない初心者向けプログラミングコンテストについて,(1)特定の詳細を意図的に省略する問題仕様を提供するコード記述タスクを提案する。
提案手法を評価するため,複数の機関から2時間のコンピュータサイエンスの学生を対象としたプログラムコンテストを実施し,各学生が各機関のコンピュータ・クラブのアクティブ・メンバーであった。
コンテストは6つの確率的問題で構成され、人気のあるコード生成ツール(GitHub Copilot)が詳細がないために正確なソリューションを生成できなかった。
学生は個人またはグループで働けるようになり、AIツールを自由に使えるようになった。
対象は26グループ(67名の学生)の同意を得た。
これらのグループによって提出されたコードが、欠落した詳細を特定できる範囲を分析し、形式的および非公式なCS教育文脈における学習を支援する方法を特定する。
関連論文リスト
- Estimating Difficulty Levels of Programming Problems with Pre-trained Model [18.92661958433282]
プログラミング問題の難易度は、生徒の適応学習を導く上で不可欠な基準となっている。
テキスト記述とコードの解の例から,各プログラム問題の難易度自動推定の問題を定式化する。
この問題に対処するため,テキストモダリティとコードモダリティの2つの事前学習モデルを統一モデルに分割することを提案する。
論文 参考訳（メタデータ） (2024-06-13T05:38:20Z) - A Knowledge-Component-Based Methodology for Evaluating AI Assistants [9.412070852474313]
GPT-4をベースとしたCS1プログラム代入のためのヒント自動生成システムの評価を行った。
本システムは,学生が短時間のプログラミング演習において,誤った解法をいかに改善できるか,という自然言語指導を提供する。
論文 参考訳（メタデータ） (2024-06-09T00:58:39Z) - The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers [1.995977018536036]
初心者プログラマはメタ認知的認識と戦略の欠如により、しばしば問題解決に苦しむ。
多くの初心者がジェネレーティブAI(GenAI)を使ってプログラミングしている
その結果, 加速した学生と苦労した学生の間には, GenAIツールの使用が不運な部分があることが判明した。
論文 参考訳（メタデータ） (2024-05-28T01:48:28Z) - Dcc --help: Generating Context-Aware Compiler Error Explanations with
Large Language Models [53.04357141450459]
dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。
LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
論文 参考訳（メタデータ） (2023-08-23T02:36:19Z) - Exploring the Use of ChatGPT as a Tool for Learning and Assessment in
Undergraduate Computer Science Curriculum: Opportunities and Challenges [0.3553493344868413]
本稿では,ChatGPTを大学コンピュータサイエンスカリキュラムの学習・評価ツールとして活用する上での課題と課題について論じる。
グループBの学生はChatGPTにアクセスでき、プログラミングの課題を解決するために使うことを奨励された。
結果より,ChatGPTを用いた学生は成績の点で有利であったが,提出されたコードには矛盾や不正確性があった。
論文 参考訳（メタデータ） (2023-04-16T21:04:52Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z) - Competition-Level Code Generation with AlphaCode [74.87216298566942]
より深い推論を必要とする問題に対する新しいソリューションを作成することができるコード生成システムであるAlphaCodeを紹介する。
Codeforcesプラットフォームにおける最近のプログラミングコンペティションのシミュレーション評価において、AlphaCodeは平均54.3%のランキングを達成した。
論文 参考訳（メタデータ） (2022-02-08T23:16:31Z) - Steps Before Syntax: Helping Novice Programmers Solve Problems using the
PCDIT Framework [2.768397481213625]
初心者プログラマは、直面する高い認知的負荷のために、しばしば問題解決に苦労します。
多くの入門プログラミングコースは、その途中で問題解決スキルが取得されるという前提で、それを明示的に教えていない。
問題仕様を命令型プログラミング言語のための実装およびテストされたソリューションに変換するプロセスを通じて、初心者プログラマを誘導するための足場を提供する非線形問題解決フレームワークである 'PCDIT' を提案する。
論文 参考訳（メタデータ） (2021-09-18T10:31:15Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Measuring Coding Challenge Competence With APPS [54.22600767666257]
コード生成のベンチマークであるAPPSを紹介する。
私たちのベンチマークには1万の問題が含まれています。
GPT-Neoのような最近のモデルでは、導入問題のテストケースの約15%をパスできる。
論文 参考訳（メタデータ） (2021-05-20T17:58:42Z) - BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。
特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。
単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
論文 参考訳（メタデータ） (2020-07-28T17:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。