論文の概要: HypoCompass: Large-Language-Model-based Tutor for Hypothesis
Construction in Debugging for Novices
- arxiv url: http://arxiv.org/abs/2310.05292v1
- Date: Sun, 8 Oct 2023 21:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 04:15:46.650063
- Title: HypoCompass: Large-Language-Model-based Tutor for Hypothesis
Construction in Debugging for Novices
- Title(参考訳): hypoCompass: 初心者のデバッグにおける仮説構築のための大規模言語モデルベースのチュータ
- Authors: Qianou Ma, Hua Shen, Kenneth Koedinger, Tongshuang Wu
- Abstract要約: hypoは、学習原則によって導かれる豊富なトレーニング材料を生成するためにLLMに依存している。
10人の初心者がパフォーマンスを17%改善し、完了時間の13%を短縮した。
- 参考スコア(独自算出の注目度): 30.93874582387744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the prevalence of imperfect but capable LLMs in software development, it
becomes increasingly important for developers to cultivate debugging skills --
to form hypotheses about the source of error in both their own codes and codes
produced by their AI pair programmers. Despite the necessity, hypothesis
construction in debugging is rarely taught due to a lack of explicit
instruction. In this work, we explore whether LLMs can be used to train novices
on hypothesis construction, by designing a theoretically motivated,
LLM-augmented tutor -- HypoCompass. HypoCompass relies on LLMs for generating
rich training materials guided by learning principles and presents them in a
learning-by-teaching environment, where LLMs act as students who write bugs and
attempt to fix them, and human novices focus on debugging in the role of a
Teaching Assistant. Evaluations show that HypoCompass consistently generates
high-quality training materials, and brings significant learning gain: In a
pre-to-post test setup, 10 novices improved their performances by 17%, with a
reduced completion time of 13%.
- Abstract(参考訳): ソフトウェア開発において不完全だが有能なllmが普及するにつれて、開発者はデバッグスキルを育むことがますます重要になってきています。
必要にもかかわらず、明示的な命令が欠如しているため、デバッグにおける仮説構築が教えられることは滅多にない。
本研究では,理論的な動機づけのある llm-augmented tutor -- hypocompass を設計することにより,仮説構築の初心者を訓練するために llm が使用できるかどうかを検討する。
hypoCompassは、LLMがバグを書いて修正しようとする学生として行動し、人間の初心者が指導助手の役割でデバッグすることに集中する学習教育環境において、学習原則によって導かれるリッチなトレーニング教材を生成するためにLLMに依存している。
評価によると、HypoCompassは高品質なトレーニング材料を一貫して生成し、大きな学習効果をもたらす。 事前テストセットアップでは、10人の初心者がパフォーマンスを17%改善し、13%の完成時間が短縮された。
関連論文リスト
- Toward Self-Improvement of LLMs via Imagination, Searching, and Criticizing [56.75702900542643]
大規模言語モデルの自己改善のためのAlphaLLMを紹介する。
モンテカルロ木探索(MCTS)とLLMを統合し、自己改善ループを確立する。
実験の結果,AlphaLLM は付加アノテーションを使わずに LLM の性能を大幅に向上することがわかった。
論文 参考訳(メタデータ) (2024-04-18T15:21:34Z) - Analyzing LLM Usage in an Advanced Computing Class in India [1.6612806983579371]
既存の研究は主に、導入プログラミングの文脈における大規模言語モデル(LLM)の影響に焦点を当てている。
本研究は、先進的なコンピューティングコースにおいて、学生とLLM間の生の相互作用を包括的に分析する。
論文 参考訳(メタデータ) (2024-04-06T12:06:56Z) - EnvGen: Generating and Adapting Environments via LLMs for Training Embodied Agents [65.38474102119181]
本稿では,より小型のRLエージェントが,弱体化している有用なスキルを学習するのを支援するために,EnvGenを提案する。
EnvGenで訓練された小さなRLエージェントは、GPT-4エージェントを含むSOTAメソッドよりも優れており、長い水平タスクをかなり高速に学習することができる。
論文 参考訳(メタデータ) (2024-03-18T17:51:16Z) - An Empirical Study on Usage and Perceptions of LLMs in a Software
Engineering Project [1.433758865948252]
大規模言語モデル(LLM)は人工知能の飛躍であり、人間の言語を用いたタスクに優れる。
本稿では、AI生成したコードを分析し、コード生成に使用するプロンプトと人間の介入レベルを分析し、コードをコードベースに統合する。
ソフトウェア開発の初期段階において,LSMが重要な役割を担っていることが示唆された。
論文 参考訳(メタデータ) (2024-01-29T14:32:32Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Large Language Model as a Policy Teacher for Training Reinforcement Learning Agents [16.24662355253529]
LLM(Large Language Models)は、高レベルの命令を提供することによって、シーケンシャルな意思決定タスクに対処することができる。
LLMは、特にリアルタイムな動的環境において、特定のターゲット問題に対処する専門性を欠いている。
LLMベースの教師エージェントからの指示を用いて、より小規模で専門的なRLエージェントを訓練することで、これらの課題に対処する新しいフレームワークを導入する。
論文 参考訳(メタデータ) (2023-11-22T13:15:42Z) - Testing LLMs on Code Generation with Varying Levels of Prompt
Specificity [0.0]
大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。
自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
論文 参考訳(メタデータ) (2023-11-10T23:41:41Z) - Democratizing Reasoning Ability: Tailored Learning from Large Language
Model [97.4921006089966]
そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。
対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。
より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
論文 参考訳(メタデータ) (2023-10-20T07:50:10Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Automatically Generating CS Learning Materials with Large Language
Models [4.526618922750769]
大きな言語モデル(LLM)は、ソフトウェア開発者が自然言語のプロンプトに基づいてコードを生成することを可能にする。
LLMは、インストラクターが学習材料をスケールするのを手助けしながら、学生が新しい方法でコードと対話することを可能にする。
LLMはまた、学術的完全性、カリキュラム設計、ソフトウェア工学のキャリアに新しい意味を導入している。
論文 参考訳(メタデータ) (2022-12-09T20:37:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。