論文の概要: How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging

• arxiv url: http://arxiv.org/abs/2310.05292v5
• Date: Thu, 10 Oct 2024 16:29:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:28:49.173340
• Title: How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging
• Title（参考訳）: AI時代のプログラミングの教え方 : LLMをデバッグのための教育可能なエージェントとして使う
• Authors: Qianou Ma, Hua Shen, Kenneth Koedinger, Tongshuang Wu,
• Abstract要約: 大規模言語モデル(LLM)は、生成スキルに優れ、実行不可能な速度でコンテンツを作成することができる。 人間の初心者は、教師アシスタントの役割を担い、LLMで教えられるエージェントのコードを支援する。 そこで我々は,人間の初心者が指導アシスタントの役割を担い,LLMを利用した学習エージェントのコード作成を支援する,デバッグの意図的な実践を促進する新しいシステムであるPhyを紹介した。
• 参考スコア（独自算出の注目度）: 28.321080454393687
• License:
• Abstract: Large Language Models (LLMs) now excel at generative skills and can create content at impeccable speeds. However, they are imperfect and still make various mistakes. In a Computer Science education context, as these models are widely recognized as "AI pair programmers," it becomes increasingly important to train students on evaluating and debugging the LLM-generated code. In this work, we introduce HypoCompass, a novel system to facilitate deliberate practice on debugging, where human novices play the role of Teaching Assistants and help LLM-powered teachable agents debug code. We enable effective task delegation between students and LLMs in this learning-by-teaching environment: students focus on hypothesizing the cause of code errors, while adjacent skills like code completion are offloaded to LLM-agents. Our evaluations demonstrate that HypoCompass generates high-quality training materials (e.g., bugs and fixes), outperforming human counterparts fourfold in efficiency, and significantly improves student performance on debugging by 12% in the pre-to-post test.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、生成スキルに優れ、実行不可能な速度でコンテンツを作成することができる。 しかし、これらは不完全であり、いまだに様々な誤りを犯している。 コンピュータサイエンス教育の文脈では、これらのモデルは「AIペアプログラマ」と広く認識されているため、LLM生成コードの評価とデバッグを学生に教えることがますます重要になっている。 本研究では,人間の初心者がヘルプアシスタントの役割を担い,LLMによるデバッグ可能なエージェントのデバッグを支援する新しいシステムであるHypoCompassを紹介する。 この学習教育環境において、学生とLLMの効果的なタスク委譲を可能にする。学生は、コードエラーの原因を仮説化することに集中し、コード補完のような隣接するスキルはLLMエージェントにオフロードされる。 評価の結果,HypoCompassは高品質なトレーニング材料(バグや修正など)を生産し,効率を4倍に向上し,ポスト・トゥ・ポストテストにおいて,学生のデバッグ性能を12%向上した。

関連論文リスト

• Impeding LLM-assisted Cheating in Introductory Programming Assignments via Adversarial Perturbation [42.49889252988544]
  LLM(Large Language Model)ベースのプログラミングアシスタントは、プロのソフトウェア開発者の生産性を向上させるだけでなく、初歩的なコンピュータプログラミングコースでの不正行為を容易にする。 本稿では,導入プログラミング問題の収集に広く使用されている5つのLCMのベースライン性能について検討し,その性能を劣化させるために,逆方向の摂動を調べるとともに,導入プログラミング課題の実際のコード生成を妨げる上で,そのような摂動の有効性を理解することを目的としたユーザスタディの結果について述べる。
  論文  参考訳（メタデータ） (2024-10-12T01:01:00Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• LLMs-as-Instructors: Learning from Errors Toward Automating Model Improvement [93.38736019287224]
  LLMs-as-Instructors"フレームワークは、より小さなターゲットモデルのトレーニングを自律的に強化する。 このフレームワークは、"Learning from Errors"理論にインスパイアされ、ターゲットモデル内の特定のエラーを注意深く分析するインストラクターLLMを使用している。 本フレームワークでは,適切なトレーニングデータに対する誤応答のみに焦点を当てた「エラーからの学習」と,比較学習を用いて誤りの深い理解を行う「コントラストによるエラーからの学習」という2つの戦略を実装している。
  論文  参考訳（メタデータ） (2024-06-29T17:16:04Z)
• An Empirical Study on Usage and Perceptions of LLMs in a Software Engineering Project [1.433758865948252]
  大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。 本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。 ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
  論文  参考訳（メタデータ） (2024-01-29T14:32:32Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
  LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。 LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。 LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-11-22T13:15:42Z)
• Testing LLMs on Code Generation with Varying Levels of Prompt Specificity [0.0]
  大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。 自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
  論文  参考訳（メタデータ） (2023-11-10T23:41:41Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Automatically Generating CS Learning Materials with Large Language Models [4.526618922750769]
  大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。 LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。 LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
  論文  参考訳（メタデータ） (2022-12-09T20:37:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。