論文の概要: Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy

• arxiv url: http://arxiv.org/abs/2507.03620v1
• Date: Fri, 04 Jul 2025 14:46:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.805825
• Title: Is It Time To Treat Prompts As Code? A Multi-Use Case Study For Prompt Optimization Using DSPy
• Title（参考訳）: プロンプトをコードとして扱うべき時か? DSPyを用いたプロンプト最適化のためのマルチユースケーススタディ
• Authors: Francisca Lemos, Victor Alves, Filipa Ferraz,
• Abstract要約: 本研究では,大規模言語モデル(LLM)の性能向上のために,Declaryの体系的即時最適化について検討する。 影響はタスクによって異なり、迅速な最適化研究において特定のユースケースを評価することの重要性を強調している。
• 参考スコア（独自算出の注目度）: 0.2544903230401084
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although prompt engineering is central to unlocking the full potential of Large Language Models (LLMs), crafting effective prompts remains a time-consuming trial-and-error process that relies on human intuition. This study investigates Declarative Self-improving Python (DSPy), an optimization framework that programmatically creates and refines prompts, applied to five use cases: guardrail enforcement, hallucination detection in code, code generation, routing agents, and prompt evaluation. Each use case explores how prompt optimization via DSPy influences performance. While some cases demonstrated modest improvements - such as minor gains in the guardrails use case and selective enhancements in hallucination detection - others showed notable benefits. The prompt evaluation criterion task demonstrated a substantial performance increase, rising accuracy from 46.2% to 64.0%. In the router agent case, the possibility of improving a poorly performing prompt and of a smaller model matching a stronger one through optimized prompting was explored. Although prompt refinement increased accuracy from 85.0% to 90.0%, using the optimized prompt with a cheaper model did not improve performance. Overall, this study's findings suggest that DSPy's systematic prompt optimization can enhance LLM performance, particularly when instruction tuning and example selection are optimized together. However, the impact varies by task, highlighting the importance of evaluating specific use cases in prompt optimization research.
• Abstract（参考訳）: プロンプトエンジニアリングは、Large Language Models (LLMs) の完全な可能性を解き放つ上で中心的であるが、効果的なプロンプトを作成することは、人間の直感に依存する試行錯誤のプロセスに時間を要する。 本研究では,プロンプトをプログラム的に生成・洗練する最適化フレームワークである宣言的自己改善Python(DSPy)について検討し,コード中のガードレールの実施,幻覚検出,コード生成,ルーティングエージェント,迅速な評価の5つのユースケースに適用した。 各ユースケースは、DSPyによる迅速な最適化がパフォーマンスにどのように影響するかを調査する。 いくつかのケースでは、ガードレールのユースケースのマイナーゲインや幻覚検出の選択的拡張など、控えめな改善が見られたが、他のケースでは顕著なメリットを示した。 即時評価基準は、46.2%から64.0%に向上した。 ルータエージェントの場合、性能の悪いプロンプトを改善する可能性や、最適化されたプロンプトによってより強力なプロンプトに適合するより小さなモデルについて検討した。 迅速な改良により精度は85.0%から90.0%に向上したが、より安価なモデルで最適化されたプロンプトを使用することで性能は向上しなかった。 本研究の結果から,DSPyの系統的プロンプト最適化は,特に命令チューニングとサンプル選択を併用した場合,LLM性能を向上させることが示唆された。 しかし、影響はタスクによって異なり、迅速な最適化研究において特定のユースケースを評価することの重要性を強調している。

関連論文リスト

• ORPP: Self-Optimizing Role-playing Prompts to Enhance Language Model Capabilities [64.24517317344959]
  複雑なタスクにおいて、大きな言語モデルから優れたパフォーマンスを引き出すためには、高品質なプロンプトが不可欠である。 本稿では,ロールプレイングプロンプトの最適化と生成によりモデル性能を向上させるフレームワークORPPを提案する。 ORPPは一致しただけでなく、ほとんどの場合、性能の点で既存の主流のプロンプト最適化手法を上回ります。
  論文  参考訳（メタデータ） (2025-06-03T05:51:35Z)
• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Dual-Phase Accelerated Prompt Optimization [29.261886603989694]
  本稿では,高品質な初期プロンプトの生成から始まる2相アプローチを提案する。 文レベルでのプロンプトを反復的に最適化し、従来のチューニング体験を活用して、プロンプト候補を拡張し、有効なプロンプトを受け入れる。 8つのデータセットに対する実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-06-19T11:08:56Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Localized Zeroth-Order Prompt Optimization [54.964765668688806]
  そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。 ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。 注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
  論文  参考訳（メタデータ） (2024-03-05T14:18:15Z)
• The Unreasonable Effectiveness of Eccentric Automatic Prompts [0.0]
  大規模言語モデル(LLM)は、目覚ましい問題解決と基本的な計算能力を示している。 本研究は,プロンプトのシステムメッセージに「肯定的思考」を取り入れた影響を定量化する試みである。 次に、最適「肯定的思考」プロンプトの性能を、系統的プロンプト最適化の出力と比較する。
  論文  参考訳（メタデータ） (2024-02-09T22:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。