論文の概要: HypoCompass: Large-Language-Model-based Tutor for Hypothesis
Construction in Debugging for Novices
- arxiv url: http://arxiv.org/abs/2310.05292v2
- Date: Sun, 17 Dec 2023 00:58:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 19:56:38.436512
- Title: HypoCompass: Large-Language-Model-based Tutor for Hypothesis
Construction in Debugging for Novices
- Title(参考訳): hypoCompass: 初心者のデバッグにおける仮説構築のための大規模言語モデルベースのチュータ
- Authors: Qianou Ma, Hua Shen, Kenneth Koedinger, Tongshuang Wu
- Abstract要約: hypoは理論上動機づけられたLLM強化チューターである。
sysnameは、人間の4倍の効率で高品質なトレーニング材料を作る。
19人の初心者がプレ・トゥ・ポストテストのパフォーマンスを12%改善し、完了時間の14%を短縮した。
- 参考スコア(独自算出の注目度): 30.93874582387744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the prevalence of imperfect but capable LLMs in software development, it
becomes increasingly important to develop debugging skills -- to form
hypotheses about the source of error in both human codes and codes from their
AI pair programmers. Despite the necessity, hypothesis construction in
debugging is rarely taught. In this work, we explore whether LLMs can be used
to train novices on hypothesis construction, by designing a theoretically
motivated, LLM-augmented tutor -- HypoCompass. HypoCompass uses LLMs to
generate rich training materials guided by learning principles and presents
them in a learning-by-teaching environment, where LLMs act as students who
write bugs, and human novices play the role of Teaching Assistants to help
debug and fix the code. Evaluations show that \sysname makes high-quality
training materials four times more efficiently than humans and brings
significant learning gain: 19 novices improved their pre-to-post test
performances by 12%, with a reduced completion time of 14%.
- Abstract(参考訳): ソフトウェア開発における不完全だが有能なLLMの普及に伴い、ヒューマンコードとAIペアプログラマのコードの両方のエラーの原因に関する仮説を形成するために、デバッグスキルの開発がますます重要になる。
その必要性にもかかわらず、デバッグにおける仮説構築はほとんど教えられません。
本研究では,理論的な動機づけのある llm-augmented tutor -- hypocompass を設計することにより,仮説構築の初心者を訓練するために llm が使用できるかどうかを検討する。
hypocompassはllmを使って学習原則に導かれた豊富なトレーニング教材を生成し、llmはバグを書く学生として働き、人間の初心者はコードのデバッグと修正を助けるアシスタントの役割を担います。
評価によると、‘sysname’は高品質なトレーニング材料を人間よりも4倍効率よく製造し、大きな学習効果をもたらす。19人の初心者がテスト前のパフォーマンスを12%改善し、完了時間が14%短縮された。
関連論文リスト
- Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - Analyzing LLM Usage in an Advanced Computing Class in India [1.6612806983579371]
既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。
本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
論文 参考訳(メタデータ) (2024-04-06T12:06:56Z) - EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
本稿では,より小型のRLエージェントが,弱体化している有用なスキルを学習するのを支援するために,EnvGenを提案する。
EnvGenで訓練された小さなRLエージェントは、GPT-4エージェントを含むSOTAメソッドよりも優れており、長い水平タスクをかなり高速に学習することができる。
論文 参考訳(メタデータ) (2024-03-18T17:51:16Z) - An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project [1.433758865948252]
大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。
ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
論文 参考訳(メタデータ) (2024-01-29T14:32:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。
LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。
LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-11-22T13:15:42Z) - Testing LLMs on Code Generation with Varying Levels of Prompt
Specificity [0.0]
大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。
自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
論文 参考訳(メタデータ) (2023-11-10T23:41:41Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳(メタデータ) (2023-10-20T07:50:10Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Automatically Generating CS Learning Materials with Large Language
Models [4.526618922750769]
大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。
LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。
LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
論文 参考訳(メタデータ) (2022-12-09T20:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。