論文の概要: Understanding Prompt Management in GitHub Repositories: A Call for Best Practices
- arxiv url: http://arxiv.org/abs/2509.12421v1
- Date: Mon, 15 Sep 2025 20:18:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-17 17:50:52.750585
- Title: Understanding Prompt Management in GitHub Repositories: A Call for Best Practices
- Title(参考訳): GitHubリポジトリのプロンプト管理を理解する - ベストプラクティスのコール
- Authors: Hao Li, Hicham Masri, Filipe R. Cogo, Abdul Ali Bangash, Bram Adams, Ahmed E. Hassan,
- Abstract要約: ファウンデーションモデルが急速に普及したことで、自然言語のプロンプトを使って構築されたソフトウェアのようなプロンプトウェアが出現した。
本研究では、92のGitHubリポジトリから24,800のオープンソースプロンプトを解析し、管理プラクティスと品質特性を調査する。
- 参考スコア(独自算出の注目度): 11.853151610220111
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid adoption of foundation models (e.g., large language models) has given rise to promptware, i.e., software built using natural language prompts. Effective management of prompts, such as organization and quality assurance, is essential yet challenging. In this study, we perform an empirical analysis of 24,800 open-source prompts from 92 GitHub repositories to investigate prompt management practices and quality attributes. Our findings reveal critical challenges such as considerable inconsistencies in prompt formatting, substantial internal and external prompt duplication, and frequent readability and spelling issues. Based on these findings, we provide actionable recommendations for developers to enhance the usability and maintainability of open-source prompts within the rapidly evolving promptware ecosystem.
- Abstract(参考訳): ファンデーションモデル(例えば、大きな言語モデル)の急速な採用により、プロンプトウェア、すなわち自然言語プロンプトを使って構築されたソフトウェアが台頭した。
組織や品質保証といったプロンプトの効果的な管理は不可欠だが、難しい。
本研究では、92のGitHubリポジトリから24,800のオープンソースプロンプトを解析し、管理プラクティスと品質特性を調査する。
その結果,プロンプトフォーマッティングの不整合,内部および外部のプロンプト複製,可読性やスペルの頻繁な問題など,重要な課題が明らかになった。
これらの知見に基づいて、急速に進化するプロンプトウェアエコシステム内のオープンソースプロンプトのユーザビリティと保守性を高めるために、開発者に対して実行可能なレコメンデーションを提供します。
関連論文リスト
- Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering [3.788792284009516]
本稿では,Prompt-with-Meという,開発環境に直接組み込んだ構造化プロンプト管理の実践的ソリューションを提案する。
このシステムは、意図、著者の役割、ソフトウェア開発ライフサイクルステージ、プロンプトタイプを含む4次元の分類を用いて、自動的にプロンプトを分類する。
論文 参考訳(メタデータ) (2025-09-21T14:24:37Z) - Towards Detecting Prompt Knowledge Gaps for Improved LLM-guided Issue Resolution [3.768737590492549]
GitHubイシュースレッド内の433人の開発者-ChatGPT会話を分析し、インシデントギャップと会話スタイルが課題解決に与える影響を調べる。
不効果的な会話は44.6%のプロンプトで知識ギャップを含んでいるのに対し、効果的な会話では12.6%しかなかった。
論文 参考訳(メタデータ) (2025-01-20T19:41:42Z) - Prompting in the Wild: An Empirical Study of Prompt Evolution in Software Repositories [11.06441376653589]
本研究は,LSM統合ソフトウェア開発における迅速な進化の実証的研究である。
我々は、インシデント変更のパターンと頻度を調べるために、243のGitHubリポジトリにわたる1,262のインシデント変更を分析した。
私たちの調査によると、開発者は主に追加や修正を通じて進化し、ほとんどの変更は機能開発中に発生します。
論文 参考訳(メタデータ) (2024-12-23T05:41:01Z) - Alibaba LingmaAgent: Improving Automated Issue Resolution via Comprehensive Repository Exploration [64.19431011897515]
本稿では,問題解決のためにソフトウェアリポジトリ全体を包括的に理解し,活用するために設計された,新しいソフトウェアエンジニアリング手法であるAlibaba LingmaAgentを提案する。
提案手法では,重要なリポジトリ情報を知識グラフに凝縮し,複雑さを低減し,モンテカルロ木探索に基づく戦略を採用する。
Alibaba Cloudの製品展開と評価において、LingmaAgentは、開発エンジニアが直面した社内問題の16.9%を自動で解決し、手作業による介入で43.3%の問題を解決した。
論文 参考訳(メタデータ) (2024-06-03T15:20:06Z) - Prompt-SAW: Leveraging Relation-Aware Graphs for Textual Prompt Compression [14.028851291935625]
既存の圧縮プロンプトの圧縮の試みは、圧縮されたプロンプトの可読性/解釈性の観点から、サブスタンダードな結果をもたらす。
PromptSAW: Prompt compresSion via Relation AWare graphs, a effective strategy for prompt compression over task-agnostic and task-aware prompts。
GSM8K-aug,すなわちタスクに依存しないプロンプトのための既存のGSM8Kベンチマークの拡張版を提案し、総合的な評価プラットフォームを提供する。
論文 参考訳(メタデータ) (2024-03-30T23:07:58Z) - Analyzing Prompt Influence on Automated Method Generation: An Empirical
Study with Copilot [6.042269506496206]
本研究では,8つのプロンプトがプロンプトのスタイルや内容,正確性,複雑性,サイズ,開発者コードとの類似度に与える影響について検討する。
結果から,実例の存在や目的の要約などの素早い特徴が,結果の質にどのように影響するかが示唆された。
論文 参考訳(メタデータ) (2024-02-13T12:58:53Z) - PromptAgent: Strategic Planning with Language Models Enables
Expert-level Prompt Optimization [60.00631098364391]
PromptAgentは、エキスパートレベルのプロンプトを、専門家による手工芸品と同等の品質で作成する最適化手法である。
PromptAgentは人間のような試行錯誤の探索にインスパイアされ、専門家レベルの正確な洞察と詳細な指示を誘導する。
PromptAgentを3つの実践領域にまたがる12のタスクに適用する。
論文 参考訳(メタデータ) (2023-10-25T07:47:01Z) - InfoPrompt: Information-Theoretic Soft Prompt Tuning for Natural
Language Understanding [51.48361798508375]
我々は,プロンプトと他のモデルパラメータ間の相互情報の最大化として,ソフトプロンプトチューニングを定式化する情報理論フレームワークを開発する。
本稿では,インフォプロンプトがプロンプトチューニングの収束を著しく加速し,従来のプロンプトチューニング手法よりも優れた性能を発揮することを示す。
論文 参考訳(メタデータ) (2023-06-08T04:31:48Z) - PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts [76.18347405302728]
本研究は、文字、単語、文、意味といった複数のレベルにわたるプロンプトを標的とした、敵対的なテキスト攻撃を多用する。
相手のプロンプトは、感情分析、自然言語推論、読書理解、機械翻訳、数学の問題解決など様々なタスクに使用される。
以上の結果から,現代の大規模言語モデルでは,敵対的プロンプトに対して頑健ではないことが示唆された。
論文 参考訳(メタデータ) (2023-06-07T15:37:00Z) - Visual-Language Prompt Tuning with Knowledge-guided Context Optimization [96.27531485377871]
代表的CoOpベースの作業は、学習可能なテキストトークンとクラストークンを組み合わせて、特定のテキスト知識を得る。
我々は,未知のクラスに対する学習可能なプロンプトの一般化能力を高めるために,新しい知識誘導コンテキスト最適化(KgCoOp)を導入する。
論文 参考訳(メタデータ) (2023-03-23T14:04:23Z) - Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。
プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
論文 参考訳(メタデータ) (2022-12-08T02:21:47Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳(メタデータ) (2022-09-23T09:01:05Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。