論文の概要: Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts
- arxiv url: http://arxiv.org/abs/2409.12447v1
- Date: Thu, 19 Sep 2024 03:55:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-07 14:52:37.425147
- Title: Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts
- Title（参考訳）: プロンプトもプログラムだ! 開発者がプロンプトを含むソフトウェアを構築する方法を理解する
- Authors: Jenny T. Liang, Melissa Lin, Nikitha Rao, Brad A. Myers,
- Abstract要約: いくつかの形態のプロンプトはプログラムであり、プロンプトの開発はプログラミングにおいて異なる現象であると主張する。
私たちの観察では、迅速なプログラミングは従来のソフトウェア開発と大きく異なることが示されています。
我々の発見は、ソフトウェア工学の実践者、教育者、研究者に影響を及ぼす。
- 参考スコア（独自算出の注目度）: 12.979519344826748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The introduction of generative pre-trained models, like GPT-4, has introduced a phenomenon known as prompt engineering, whereby model users repeatedly write and revise prompts while trying to achieve a task. Using these AI models for intelligent features in software applications require using APIs that are controlled through developer-written prompts. These prompts have powered AI experiences in popular software products, potentially reaching millions of users. Despite the growing impact of prompt-powered software, little is known about its development process and its relationship to programming. In this work, we argue that some forms of prompts are programs, and that the development of prompts is a distinct phenomenon in programming. We refer to this phenomenon as prompt programming. To this end, we develop an understanding of prompt programming using Straussian grounded theory through interviews with 20 developers engaged in prompt development across a variety of contexts, models, domains, and prompt complexities. Through this study, we contribute 14 observations about prompt programming. For example, rather than building mental models of code, prompt programmers develop mental models of the FM's behavior on the prompt and its unique qualities by interacting with the model. While prior research has shown that experts have well-formed mental models, we find that prompt programmers who have developed dozens of prompts, each with many iterations, still struggle to develop reliable mental models. This contributes to a rapid and unsystematic development process. Taken together, our observations indicate that prompt programming is significantly different from traditional software development, motivating the creation of tools to support prompt programming. Our findings have implications for software engineering practitioners, educators, and researchers.
- Abstract（参考訳）: GPT-4のような生成事前学習モデルの導入は、プロンプトエンジニアリング(英語版)として知られる現象を導入し、モデルユーザーがタスクを達成しようとして繰り返しプロンプトを書き、修正する。
ソフトウェアアプリケーションのインテリジェントな機能にこれらのAIモデルを使用するには、開発者によるプロンプトを通じて制御されるAPIを使用する必要がある。
これらのプロンプトは、人気のソフトウェア製品でAI体験を生かし、数百万のユーザーを獲得した可能性がある。
迅速なソフトウェアの影響が増大しているにもかかわらず、開発プロセスとプログラミングとの関係についてはほとんど知られていない。
本研究では,いくつかのプロンプトはプログラムであり,プロンプトの開発はプログラミングにおいて異なる現象である,と論じる。
この現象を即興プログラミングと呼ぶ。
そこで我々は, 様々なコンテキスト, モデル, ドメイン, 急激な複雑さにまたがる迅速な開発に携わる20人の開発者へのインタビューを通じて, ストラウス的基礎理論を用いた即時プログラミングの理解を深める。
そこで本研究では,プロンプトプログラミングに関する14の観察結果について報告する。
例えば、コードのメンタルモデルを構築する代わりに、プログラマはプロンプト上のFMの振る舞いのメンタルモデルを開発し、そのモデルと対話することでそのユニークな性質を身につける。
これまでの研究では、専門家はよく形づくられたメンタルモデルを持っていることが示されていますが、数十のプロンプトを開発したプログラマは、それぞれに多くのイテレーションがあり、信頼できるメンタルモデルを開発するのに依然として苦労しています。
これは、迅速かつ非体系的な開発プロセスに寄与します。
まとめると、我々の観察は、プロンプトプログラミングが従来のソフトウェア開発と大きく異なることを示し、プロンプトプログラミングをサポートするツールの作成を動機付けている。
我々の発見は、ソフトウェア工学の実践者、教育者、研究者に影響を及ぼす。
関連論文リスト
- Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers [0.0]
本稿では、ChatGPT、Gemini(Bard AI)、AlphaCode、GitHub Copilotなど、主要なプログラミングアシスタントの徹底的な評価を行う。
AIモデルの潜在能力を具現化する倫理的開発プラクティスの必要性を強調している。
論文 参考訳（メタデータ） (2024-11-14T06:40:55Z) - OpenHands: An Open Platform for AI Software Developers as Generalist Agents [109.8507367518992]
私たちは、人間の開発者と同じような方法で世界と対話するAIエージェントを開発するためのプラットフォームであるOpenHandsを紹介します。
プラットフォームが新しいエージェントの実装を可能にし、コード実行のためのサンドボックス環境との安全なインタラクション、評価ベンチマークの導入について説明する。
論文 参考訳（メタデータ） (2024-07-23T17:50:43Z) - NExT: Teaching Large Language Models to Reason about Code Execution [50.93581376646064]
大規模言語モデル(LLM)のコードは通常、プログラムの表面テキスト形式に基づいて訓練される。
NExTは,プログラムの実行トレースを検査し,実行時の動作を判断する手法である。
論文 参考訳（メタデータ） (2024-04-23T01:46:32Z) - Genetic Auto-prompt Learning for Pre-trained Code Intelligence Language Models [54.58108387797138]
コードインテリジェンスタスクにおける即時学習の有効性について検討する。
既存の自動プロンプト設計手法は、コードインテリジェンスタスクに限られている。
本稿では、精巧な遺伝的アルゴリズムを用いてプロンプトを自動設計する遺伝的オートプロンプト(GenAP)を提案する。
論文 参考訳（メタデータ） (2024-03-20T13:37:00Z) - Exploring Prompt Engineering Practices in the Enterprise [3.7882262667445734]
プロンプト(英: prompt)は、モデルから特定の振る舞いや出力を引き出すように設計された自然言語命令である。
特定の要求のある複雑なタスクやタスクに対して、迅速な設計は簡単ではない。
我々は、プロンプト編集行動のセッションを分析し、ユーザが反復したプロンプトの一部と、それらが行った変更の種類を分類する。
論文 参考訳（メタデータ） (2024-03-13T20:32:32Z) - Analyzing Prompt Influence on Automated Method Generation: An Empirical
Study with Copilot [6.042269506496206]
本研究では,8つのプロンプトがプロンプトのスタイルや内容,正確性,複雑性,サイズ,開発者コードとの類似度に与える影響について検討する。
結果から,実例の存在や目的の要約などの素早い特徴が,結果の質にどのように影響するかが示唆された。
論文 参考訳（メタデータ） (2024-02-13T12:58:53Z) - PwR: Exploring the Role of Representations in Conversational Programming [17.838776812138626]
PwR(Programming with Representations)は、自然言語でシステムの理解をユーザに伝えるために表現を使用する手法である。
その結果,表現は理解可能性を大幅に向上させ,参加者の間にエージェンシーの感覚を植え付けることができた。
論文 参考訳（メタデータ） (2023-09-18T05:38:23Z) - ChatDev: Communicative Agents for Software Development [84.90400377131962]
ChatDevはチャットを利用したソフトウェア開発フレームワークで、特別なエージェントがコミュニケーション方法についてガイドされる。
これらのエージェントは、統一された言語ベースのコミュニケーションを通じて、設計、コーディング、テストフェーズに積極的に貢献する。
論文 参考訳（メタデータ） (2023-07-16T02:11:34Z) - A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges [23.467373994306524]
実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
論文 参考訳（メタデータ） (2023-03-30T03:21:53Z) - A Case Study in Engineering a Conversational Programming Assistant's
Persona [72.47187215119664]
会話能力は、既存のコード流大言語モデルを使用することで達成された。
プロンプトの進化に関する議論は、既存の基礎モデルを特定のアプリケーションに望ましい方法で振る舞う方法に関するケーススタディを提供する。
論文 参考訳（メタデータ） (2023-01-13T14:48:47Z) - A Conversational Paradigm for Program Synthesis [110.94409515865867]
本稿では,大規模言語モデルを用いた対話型プログラム合成手法を提案する。
私たちは、自然言語とプログラミング言語のデータに基づいて、CodeGenと呼ばれる大規模な言語モデルのファミリーを訓練します。
本研究は,会話能力の出現と,提案した会話プログラム合成パラダイムの有効性を示すものである。
論文 参考訳（メタデータ） (2022-03-25T06:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。