論文の概要: Prompt Coach: An Empirical Evaluation of an Agentic Tutor for Learning Prompt Engineering in Software Development
- arxiv url: http://arxiv.org/abs/2607.06074v1
- Date: Tue, 07 Jul 2026 09:44:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.472908
- Title: Prompt Coach: An Empirical Evaluation of an Agentic Tutor for Learning Prompt Engineering in Software Development
- Title（参考訳）: Prompt Coach: ソフトウェア開発におけるPrompt Engineering学習のためのエージェントチュータの実証評価
- Abstract要約: Prompt Coach(PC)は、開発者が高品質なコード生成プロンプトの作り方を学ぶのを助けるエージェントチューターである。
PCは、複数の次元と表面をまたいだ迅速な品質を評価し、自己学習をガイドする。
- 参考スコア（独自算出の注目度）: 2.1480208860520533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prompt engineering has emerged as a critical yet undertaught skill for software developers, one that traditional learning approaches are ill-equipped to support given its evolving, interactive, and context-dependent nature. In this paper, we introduce Prompt Coach (PC), an agentic tutor that helps developers learn how to craft high-quality code-generation prompts through Socratic guidance embedded in-flow within their IDE. PC evaluates prompt quality across multiple dimensions and surfaces targeted questions to guide self-correction, grounded in the developer's codebase and the behavior of the target LLM. We present an early empirical study with 15 professional developers combining quantitative prompt quality scoring with qualitative perception measures. Participants showed statistically significant improvements after a single 60-minute session, with the largest gains across dimensions commonly overlooked by developers. They also reported strong trust, high adoption readiness, and unanimous agreement that PC improved their prompt-writing skills.
- Abstract（参考訳）: プロンプトエンジニアリングは、進化し、インタラクティブで、コンテキストに依存した性質を考えると、従来の学習アプローチはサポートに不適である、という、ソフトウェア開発者にとっては重要なスキルとして現れています。
本稿では,IDE内に埋め込まれたソクラティックガイダンスを通じて,高品質なコード生成プロンプトの作り方を学ぶためのエージェントチューターであるPrompt Coach(PC)を紹介する。
PC は,複数次元および対象の質問に対する迅速な品質評価を行い,開発者のコードベースと対象の LLM の振る舞いを導出する。
15名のプロ開発者を対象に,定量的即時品質スコアと質的知覚尺度を併用した初期の実証的研究を行った。
参加者は、単一の60分間のセッションの後、統計的に有意な改善が見られた。
彼らはまた、PCが即興のスキルを改善したという強い信頼、高い採用準備、全会一致を報告した。
関連論文リスト
- AgentForge: An Immersive Role-Playing Platform for Learning Agentic Software Engineering [4.609790123179083]
textitAgentForgeは、初心者が4つのソフトウェアエンジニアリングの役割のうちの1つを担う没入型学習システムである。
各練習セッションでは、初心者が選択した役割を演じ、AIエージェントが残りの3つを実行する。
37人の初心者開発者を対象にした調査では、AIエージェントのサポートで高いタスク補完率を達成した。
論文 参考訳（メタデータ） (2026-08-04T18:58:18Z) - DeepTutor: Towards Agentic Personalized Tutoring [17.49651550264547]
DeepTutorは、パーソナライズされた学習のためのエージェントネイティブなオープンソースフレームワークである。
動的多解像度メモリと静的知識を結合したハイブリッドパーソナライズエンジンを提案する。
また、TutorBotはプロアクティブなマルチエージェント層で、スキルと統合マルチチャネルアクセスを通じてチュータ機能をデプロイする。
論文 参考訳（メタデータ） (2026-04-10T17:57:00Z) - Evaluating LLMs for Answering Student Questions in Introductory Programming Courses [0.0]
本研究では,CS1プログラミングコースにおける学生の質問に答える上で,大規模言語モデルの安全かつ効果的に支援する能力について検討する。
従来のテキストマッチングメトリクスは、オープンエンドの教育応答を評価するには不十分であるため、独自のLCM-as-a-Judgeメトリックを開発し、検証した。
以上の結果から,ジェミニ3フラッシュなどのモデルが典型的な教育者応答の品質基準を超越し,専門家の教育基準と高い整合性が得られることが示唆された。
論文 参考訳（メタデータ） (2026-03-30T11:22:58Z) - SimpleDevQA: Benchmarking Large Language Models on Development Knowledge QA [58.75982433502236]
Dev Knowledge QAタスクはインタラクションの39.6%を占めている。
実際のDev Knowledge QA対話のわずか27.5%は、コード理解に重点を置いている。
実世界のDev Knowledge QAダイアログの17.1%しかベンチマークの構築に使用できない。
論文 参考訳（メタデータ） (2025-12-09T17:58:36Z) - EduAgentQG: A Multi-Agent Workflow Framework for Personalized Question Generation [56.43882334582494]
高品質で多様なパーソナライズされた質問を生成するための多エージェント協調フレームワークであるEduAgentQGを提案する。
フレームワークは5つの特殊エージェントで構成され、反復的なフィードバックループを介して動作する。
EduAgentQGは、質問の多様性、ゴールの一貫性、全体的な品質の点で、既存のシングルエージェントとマルチエージェントの手法より優れている。
論文 参考訳（メタデータ） (2025-11-08T12:25:31Z) - CATArena: Evaluation of LLM Agents through Iterative Tournament Competitions [49.02422075498554]
大言語モデル(LLM)エージェントは、基本的なテキスト生成から、外部ツールとのインタラクションを通じて、複雑なタスクを自律的に完了するまで進化してきた。
本研究では,人間レベルインテリジェンスに向けたエージェント進化のコアドライバとして,自己改善とピアラーニングの両方を含む学習能力の重要性を強調した。
本稿では,反復的かつ競合的なピアラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-30T15:22:53Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Design of AI-Powered Tool for Self-Regulation Support in Programming Education [4.171227316909729]
大きな言語モデル(LLM)ツールは、高品質な補助を提供する可能性を示している。
しかし、これらのツールの多くは、機関的な学習管理システムとは独立して運用されている。
この分離は、学習材料を活用する能力と、適切なコンテキスト対応のフィードバックを生成するためのコンテキストを行使する能力を制限する。
論文 参考訳（メタデータ） (2025-04-03T22:47:33Z) - MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors [82.91830877219822]
我々は、総合的なチューリングモデル評価のためのオープンソースのベンチマークであるMathTutorBenchを紹介する。
MathTutorBenchには、ダイアログベースの教育における科学の研究によって定義された、家庭教師の能力をカバーするデータセットとメトリクスが含まれている。
閉鎖的およびオープンウェイトなモデルの幅広いセットを評価し、問題解決能力によって示される課題の専門知識が、すぐには良い教育に変換されないことを発見した。
論文 参考訳（メタデータ） (2025-02-26T08:43:47Z) - From Critique to Clarity: A Pathway to Faithful and Personalized Code Explanations with Large Language Models [3.5176327869934747]
本稿では、忠実でパーソナライズされたコード説明を生成する革新的なアプローチを提案する。
本手法は,プロンプト強化,自己消費機構,パーソナライズされたコンテンツカスタマイズ,外部ツールとのインタラクションを統合した手法である。
提案手法は,コード説明の質と関連性を大幅に向上させることが示唆された。
論文 参考訳（メタデータ） (2024-12-08T09:02:04Z) - Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。
本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
論文 参考訳（メタデータ） (2022-09-07T10:09:12Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。