論文の概要: Understanding Prompt Programming Tasks and Questions
- arxiv url: http://arxiv.org/abs/2507.17264v1
- Date: Wed, 23 Jul 2025 07:01:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.892563
- Title: Understanding Prompt Programming Tasks and Questions
- Title（参考訳）: プロンプトプログラミングの課題と課題を理解する
- Authors: Jenny T. Liang, Chenyang Yang, Agnia Sergeyuk, Travis D. Breaux, Brad A. Myers,
- Abstract要約: プログラマが質問する25のタスクと51の質問を分類し、各タスクと質問の重要性を計測する。
すべてのタスクが手作業で行われ、51の質問のうち16 – 最も重要なものの大半を含む – は未回答のままです。
- 参考スコア（独自算出の注目度）: 19.414347044995644
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Prompting foundation models (FMs) like large language models (LLMs) have enabled new AI-powered software features (e.g., text summarization) that previously were only possible by fine-tuning FMs. Now, developers are embedding prompts in software, known as prompt programs. The process of prompt programming requires the developer to make many changes to their prompt. Yet, the questions developers ask to update their prompt is unknown, despite the answers to these questions affecting how developers plan their changes. With the growing number of research and commercial prompt programming tools, it is unclear whether prompt programmers' needs are being adequately addressed. We address these challenges by developing a taxonomy of 25 tasks prompt programmers do and 51 questions they ask, measuring the importance of each task and question. We interview 16 prompt programmers, observe 8 developers make prompt changes, and survey 50 developers. We then compare the taxonomy with 48 research and commercial tools. We find that prompt programming is not well-supported: all tasks are done manually, and 16 of the 51 questions -- including a majority of the most important ones -- remain unanswered. Based on this, we outline important opportunities for prompt programming tools.
- Abstract（参考訳）: 大型言語モデル(LLM)のようなプロンプティング基礎モデル(FM)は、これまで微調整されたFMでしか不可能だった、AIを使ったソフトウェア機能(例えば、テキスト要約)を新たに実現した。
現在、開発者はプロンプトプログラムとして知られるソフトウェアにプロンプトを埋め込んでいる。
プロンプトプログラミングのプロセスでは、開発者はプロンプトに多くの変更を加える必要がある。
しかし、開発者がプロンプトを更新するよう求める質問は、開発者がどのように変更を計画するかに影響するこれらの質問に対する回答にもかかわらず、不明である。
研究や商業的なプロンプトプログラミングツールが増えているため、プログラマのニーズが適切に対処されているかどうかは不明だ。
これらの課題に対処するために、プログラマが行う25のタスクと51の質問の分類を開発し、各タスクと質問の重要性を計測する。
16人のプログラマにインタビューし、8人の開発者が迅速な変更を行い、50人の開発者を調査します。
次に、分類学を48の研究および商業ツールと比較する。
すべてのタスクが手作業で行われ、51の質問のうち16 – 最も重要なものの大半を含む – は未回答のままです。
これに基づいて、我々はプロンプトプログラミングツールの重要な機会を概説する。
関連論文リスト
- An Empirically-grounded tool for Automatic Prompt Linting and Repair: A Case Study on Bias, Vulnerability, and Optimization in Developer Prompts [2.6254294912127127]
私たちは、Dev Promptsの問題を検出し、修正するように設計されたツールであるPromptDoctorを紹介します。
我々の分析では、40,573人のDev Promptsの代表サンプルとして選ばれた2,173人のDev Promptsが3.46%に1種類以上のバイアスがあった。
PromptDoctorはバイアスのあるDev Promptの68.29%を脱バイアスし、脆弱なDev Promptの41.81%を硬化させ、37.1%のDev Promptの性能を改善した。
論文 参考訳（メタデータ） (2025-01-21T22:24:03Z) - Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution [3.768737590492549]
GitHubイシュースレッド内の433人の開発者-ChatGPT会話を分析し、インシデントギャップと会話スタイルが課題解決に与える影響を調べる。
不効果的な会話は44.6%のプロンプトで知識ギャップを含んでいるのに対し、効果的な会話では12.6%しかなかった。
論文 参考訳（メタデータ） (2025-01-20T19:41:42Z) - Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts [12.979519344826748]
我々は、いくつかのプロンプトはプログラムであり、プロンプトの開発は「プロンプトプログラミング」として知られるプログラミングにおける別の現象であると主張している。
我々は,Straussian の基底理論を用いて,迅速な開発に従事する20人の開発者へのインタビューを通じて,プロンプトプログラミングの理解を深める。
論文 参考訳（メタデータ） (2024-09-19T03:55:49Z) - I Could've Asked That: Reformulating Unanswerable Questions [89.93173151422636]
我々は、解決不可能な質問を改定するためのオープンソースおよびプロプライエタリなモデルを評価する。
GPT-4とLlama2-7Bは、それぞれ26%と12%しか質問を修正できなかった。
ベンチマークとコードを公開して実験を再現します。
論文 参考訳（メタデータ） (2024-07-24T17:59:07Z) - BigCodeBench: Benchmarking Code Generation with Diverse Function Calls and Complex Instructions [72.56339136017759]
BigCodeBenchは、大規模言語モデル(LLM)に対して、139のライブラリと7つのドメインから1140のきめ細かいタスクに対して、複数の関数呼び出しをツールとして呼び出すためのベンチマークである。
評価の結果,LLMは機能コールを正確に使用するための複雑な指示に従うことができず,スコアは最大60%,人的性能は97%と極めて低いことがわかった。
そこで本研究では,BigCodeBench-Instructという自然言語指向の変種を提案する。
論文 参考訳（メタデータ） (2024-06-22T15:52:04Z) - Answering Ambiguous Questions with a Database of Questions, Answers, and
Revisions [95.92276099234344]
ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。
提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
論文 参考訳（メタデータ） (2023-08-16T20:23:16Z) - Automated Distractor and Feedback Generation for Math Multiple-choice
Questions via In-context Learning [43.83422798569986]
マルチチョイス質問(MCQ)は、管理しやすく、格付けし、信頼性の高い評価形式であるため、ほぼ全てのレベルの教育においてユビキタスである。
これまで、高品質なイントラクタを作るというタスクは、教師やコンテンツデザイナーを学ぶための労働集約的なプロセスのままだった。
本稿では,テキスト内学習をベースとした簡易な学習手法を提案する。
論文 参考訳（メタデータ） (2023-08-07T01:03:04Z) - Employing Deep Learning and Structured Information Retrieval to Answer
Clarification Questions on Bug Reports [3.462843004438096]
本稿では,CodeT5 と Lucene を併用して質問に対する回答を推薦する手法を提案する。
我々は,正規化Smooth BLEUスコア, METEOR, Word Mover's Distance, Semantic similarity などの類似度指標を用いて,手動で注釈付き回答を評価した。
論文 参考訳（メタデータ） (2023-04-24T23:29:14Z) - A Large-Scale Survey on the Usability of AI Programming Assistants:
Successes and Challenges [23.467373994306524]
実際には、開発者はAIプログラミングアシスタントの最初の提案を高い頻度で受け入れない。
これらのツールを使用して開発者のプラクティスを理解するため、多数の開発者を対象に調査を実施しました。
開発者がAIプログラミングアシスタントを使用する動機は、開発者がキーストロークを減らしたり、プログラミングタスクを素早く終了したり、構文をリコールするのに役立つためである。
また、開発者がこれらのツールを使用しない最も重要な理由は、これらのツールが特定の機能的あるいは非機能的要件に対処するコードを出力していないためです。
論文 参考訳（メタデータ） (2023-03-30T03:21:53Z) - Brain-inspired Search Engine Assistant based on Knowledge Graph [53.89429854626489]
developerbotは脳にインスパイアされた、knowledge graphの名前の検索エンジンアシスタントだ。
複雑なマルチ制約クエリを複数の順序制約に分割することで、多層クエリグラフを構築する。
次に、制約推論プロセスを認知科学の拡散活性化モデルに触発されたサブグラフ探索プロセスとしてモデル化する。
論文 参考訳（メタデータ） (2020-12-25T06:36:11Z) - Retrieve, Program, Repeat: Complex Knowledge Base Question Answering via
Alternate Meta-learning [56.771557756836906]
本稿では,弱い監督からプログラマと交互に検索モデルを自動的に学習する手法を提案する。
本システムでは,知識ベースに対する複雑な質問応答を行う大規模タスクにおいて,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-29T18:28:16Z) - Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。
我々は,読者が情報を求めるための実践的な戦略に携わることを示す。
我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
論文 参考訳（メタデータ） (2020-10-04T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。