論文の概要: Can Developers Prompt? A Controlled Experiment for Code Documentation Generation
- arxiv url: http://arxiv.org/abs/2408.00686v1
- Date: Thu, 1 Aug 2024 16:28:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-04 19:57:15.762096
- Title: Can Developers Prompt? A Controlled Experiment for Code Documentation Generation
- Title（参考訳）: 開発者は前進できるか? コードドキュメンテーション生成のための制御された実験
- Authors: Hans-Alexander Kruse, Tim Puhlfürß, Walid Maalej,
- Abstract要約: 2つのPython関数のためのコードドキュメンテーション生成を専門とする20人のプロと30人のコンピュータサイエンス学生による制御実験について報告する。
その結果, プロや学生は, 素早い工学的手法を知らないか, 適用できなかったことが明らかとなった。
一部のプロフェッショナルは、アドホックなプロンプトにDocstringというキーワードを含めることで、高品質なドキュメントを作成しました。
- 参考スコア（独自算出の注目度）: 6.40476282000118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) bear great potential for automating tedious development tasks such as creating and maintaining code documentation. However, it is unclear to what extent developers can effectively prompt LLMs to create concise and useful documentation. We report on a controlled experiment with 20 professionals and 30 computer science students tasked with code documentation generation for two Python functions. The experimental group freely entered ad-hoc prompts in a ChatGPT-like extension of Visual Studio Code, while the control group executed a predefined few-shot prompt. Our results reveal that professionals and students were unaware of or unable to apply prompt engineering techniques. Especially students perceived the documentation produced from ad-hoc prompts as significantly less readable, less concise, and less helpful than documentation from prepared prompts. Some professionals produced higher quality documentation by just including the keyword Docstring in their ad-hoc prompts. While students desired more support in formulating prompts, professionals appreciated the flexibility of ad-hoc prompting. Participants in both groups rarely assessed the output as perfect. Instead, they understood the tools as support to iteratively refine the documentation. Further research is needed to understand which prompting skills and preferences developers have and which support they need for certain tasks.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、コードドキュメンテーションの作成や保守といった面倒な開発タスクを自動化する大きな可能性を秘めています。
しかし、開発者はLLMに簡潔で有用なドキュメントを作成するよう効果的に促すことができるかは不明だ。
2つのPython関数のためのコードドキュメンテーション生成を専門とする20人のプロと30人のコンピュータサイエンス学生による制御実験について報告する。
実験グループは、Visual Studio CodeのChatGPTのような拡張でアドホックプロンプトを自由に入力し、コントロールグループは事前に定義された数発のプロンプトを実行した。
その結果, プロや学生は, 素早い工学的手法を知らないか, 適用できなかったことが明らかとなった。
特に、アドホックなプロンプトから生成されたドキュメントは、読みやすく、簡潔で、準備されたプロンプトからのドキュメントよりも有用でないと学生は感じた。
一部のプロフェッショナルは、アドホックなプロンプトにDocstringというキーワードを含めることで、高品質なドキュメントを作成しました。
学生はプロンプトの定式化により多くの支援を望んだが、プロはアドホックなプロンプトの柔軟性を高く評価した。
両グループの参加者は、アウトプットを完璧と評価することはめったになかった。
代わりに彼らは、ツールがドキュメントを反復的に洗練するためのサポートであると理解した。
開発者が持つスキルや好みを理解し、特定のタスクに必要なサポートを理解するためには、さらなる研究が必要である。
関連論文リスト
- Conversational Prompt Engineering [14.614531952444013]
ユーザが特定のタスクに対してパーソナライズされたプロンプトを作成するのを支援する,ユーザフレンドリーなツールであるConversational Prompt Engineering (CPE)を提案する。
CPEはチャットモデルを使ってユーザと短時間の対話を行い、アウトプットの好みを明確にし、それらをプロンプトに統合する。
要約タスクのユーザスタディは、パーソナライズされたハイパフォーマンスなプロンプトを作成する際のCPEの価値を示す。
論文 参考訳（メタデータ） (2024-08-08T16:18:39Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.171011917404485]
プロンプティングは、特定の自然言語処理タスクに大規模言語モデル(LLM)を適用するための主流パラダイムとなっている。
このアプローチは、LLMの振る舞いをガイドし、制御するために、モデル推論と人間の努力のさらなる計算負担をもたらす。
本稿では, 今後の研究の方向性を明らかにするため, 促進, 効率的な促進のための進歩を概説する。
論文 参考訳（メタデータ） (2024-04-01T12:19:08Z) - Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。
特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。
我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
論文 参考訳（メタデータ） (2024-03-13T20:32:32Z) - A large language model-assisted education tool to provide feedback on
open-ended responses [2.624902795082451]
本稿では,大規模言語モデル (LLM) をインストラクター定義基準でガイドし,オープンエンド質問に対する応答を自動化するツールを提案する。
本ツールでは,素早いパーソナライズされたフィードバックを提供することで,学生が知識を迅速にテストし,改善すべき領域を特定できる。
論文 参考訳（メタデータ） (2023-07-25T19:49:55Z) - Using an LLM to Help With Code Understanding [13.53616539787915]
大規模言語モデル(LLM)は、コードを書くプロセスに革命をもたらしています。
プラグインはOpenAIのGPT-3.5-turboモデルに対して,ユーザが明示的なプロンプトを書かなくても4つの高レベルリクエストをクエリする。
本システムの評価は,32名の被験者を対象に行ったユーザスタディで行われ,本プラグインがWeb検索よりもタスク完了に有効であることが確認された。
論文 参考訳（メタデータ） (2023-07-17T00:49:06Z) - StudentEval: A Benchmark of Student-Written Prompts for Large Language
Models of Code [2.087827281461409]
StudentEvalには48の問題に対して1,749のプロンプトが含まれており、Pythonプログラミングの1学期しか完了していない80人の学生によって書かれた。
本研究は,学生のプロンプトを解析し,学生のプロンプト技術に有意な変化を見出した。
論文 参考訳（メタデータ） (2023-06-07T16:03:55Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳（メタデータ） (2022-11-21T22:38:20Z) - Explaining Patterns in Data with Language Models via Interpretable
Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。
iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。
fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文 参考訳（メタデータ） (2022-10-04T18:32:14Z) - Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation
with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。
PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文 参考訳（メタデータ） (2022-08-16T17:17:53Z) - Learning to Transfer Prompts for Text Generation [97.64625999380425]
転送可能なテキスト生成のための新しいプロンプトベース手法(PTG)を提案する。
まず、PTGは、様々なソース生成タスクの一連のソースプロンプトを学習し、ターゲット生成タスクを実行するためのターゲットプロンプトとしてこれらのプロンプトを転送する。
広範な実験では、PTGは微調整法よりも競争力または優れた結果が得られる。
論文 参考訳（メタデータ） (2022-05-03T14:53:48Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳（メタデータ） (2021-11-03T03:31:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。