論文の概要: Exploring the Potential of Large Language Models in Generating Code-Tracing Questions for Introductory Programming Courses

• arxiv url: http://arxiv.org/abs/2310.15317v1
• Date: Mon, 23 Oct 2023 19:35:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 21:49:55.874629
• Title: Exploring the Potential of Large Language Models in Generating Code-Tracing Questions for Introductory Programming Courses
• Title（参考訳）: プログラミング入門講座における大規模言語モデルの可能性を探る
• Authors: Aysa Xuemo Fan, Ranran Haoran Zhang, Luc Paquette, Rui Zhang
• Abstract要約: 大規模言語モデル(LLM)は、プログラミングコースでコードトレースの質問を生成するために使用することができる。 我々は,教育とNLP研究コミュニティの双方にとって貴重な資源として,人間とLLMが生成するトレーシング質問のデータセットを提示する。
• 参考スコア（独自算出の注目度）: 6.43363776610849
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we explore the application of large language models (LLMs) for generating code-tracing questions in introductory programming courses. We designed targeted prompts for GPT4, guiding it to generate code-tracing questions based on code snippets and descriptions. We established a set of human evaluation metrics to assess the quality of questions produced by the model compared to those created by human experts. Our analysis provides insights into the capabilities and potential of LLMs in generating diverse code-tracing questions. Additionally, we present a unique dataset of human and LLM-generated tracing questions, serving as a valuable resource for both the education and NLP research communities. This work contributes to the ongoing dialogue on the potential uses of LLMs in educational settings.
• Abstract（参考訳）: 本稿では,導入型プログラミングコースにおけるコードトラッシング問題生成のための大規模言語モデル(llms)の適用について検討する。 我々はGPT4のターゲットプロンプトを設計し、コードスニペットと記述に基づいてコードトレースの質問を生成するように誘導した。 我々は,モデルが生成する質問の質を,人間の専門家が生成した質問と比べて評価するための評価指標のセットを構築した。 私たちの分析は、多様なコードトレッキング質問を生成する際のllmの能力と可能性に関する洞察を提供します。 さらに,人間とllmが生成する追跡質問のユニークなデータセットを提示し,教育とnlp研究コミュニティの双方にとって貴重な資源となる。 本研究は,LLMの教育的利用の可能性に関する対話の継続に寄与する。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
  大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。 本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。 我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
  論文  参考訳（メタデータ） (2024-07-04T16:41:08Z)
• Exploring the Capabilities of Prompted Large Language Models in Educational and Assessment Applications [0.4857223913212445]
  生成人工知能(AI)の時代、大規模言語モデル(LLM)の融合は、近代教育の分野で革新の先例のない機会を提供する。 学校レベルの教科書からオープンエンド質問を生成するためのプロンプトベースの手法の有効性について検討し,学部レベルの技術教科書からオープンエンド質問を生成する際の効率を評価し,言語に依存しない多段階質問(MCQ)生成のためのチェーン・オブ・インスパイアされたマルチステージ・プロンプト・アプローチの適用可能性について検討した。
  論文  参考訳（メタデータ） (2024-05-19T15:13:51Z)
• Let's Ask AI About Their Programs: Exploring ChatGPT's Answers To Program Comprehension Questions [2.377308748205625]
  我々は,LLMが生成したコードから生成されたQLCに応答する,最先端のLCMの能力について検討する。 この結果から,現在最先端のLCMではプログラム作成やプログラム実行の追跡が可能であるが,初心者プログラマが記録した類似のエラーに容易に対応できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-17T20:37:00Z)
• Large Language Models for Data Annotation: A Survey [49.8318827245266]
  LLM(Advanced Large Language Models)の出現は、データアノテーションの複雑なプロセスを自動化する前例のない機会を提供する。 この調査には、LLMが注釈付けできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションにLLMを使用する際の主な課題と制限に関する詳細な議論が含まれている。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• Next-Step Hint Generation for Introductory Programming Using Large Language Models [0.8002196839441036]
  大きな言語モデルは、質問に答えたり、エッセイを書いたり、プログラミングの練習を解くといったスキルを持っている。 本研究は,LLMが学生に次のステップの自動ヒントを提供することで,プログラミング教育にどう貢献できるかを考察する。
  論文  参考訳（メタデータ） (2023-12-03T17:51:07Z)
• A Large Language Model Approach to Educational Survey Feedback Analysis [0.0]
  本稿では,大規模言語モデル(LLM) GPT-4 と GPT-3.5 が教育フィードバック調査から洞察を得るのに役立つ可能性について検討する。
  論文  参考訳（メタデータ） (2023-09-29T17:57:23Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)
• Supporting Qualitative Analysis with Large Language Models: Combining Codebook with GPT-3 for Deductive Coding [45.5690960017762]
  本研究は,大言語モデル (LLM) を用いた帰納的符号化支援について検討する。 タスク固有のモデルを訓練する代わりに、事前訓練されたLLMは、素早い学習を通じて微調整することなく、様々なタスクに直接使用することができる。 好奇心駆動型問合せコーディングタスクをケーススタディとして, GPT-3とエキスパートドラフトコードブックを組み合わせることで, 提案手法は有意な一致を達成し, 有能な結果を得た。
  論文  参考訳（メタデータ） (2023-04-17T04:52:43Z)
• What should I Ask: A Knowledge-driven Approach for Follow-up Questions Generation in Conversational Surveys [63.51903260461746]
  対話型調査における知識駆動型フォローアップ質問生成のための新しい課題を提案する。 そこで我々は,対話履歴とラベル付き知識を用いた人手によるフォローアップ質問の新しいデータセットを構築した。 次に,その課題に対する2段階の知識駆動モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-23T00:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。