論文の概要: iPrOp: Interactive Prompt Optimization for Large Language Models with a Human in the Loop

• arxiv url: http://arxiv.org/abs/2412.12644v1
• Date: Tue, 17 Dec 2024 08:09:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:35.006640
• Title: iPrOp: Interactive Prompt Optimization for Large Language Models with a Human in the Loop
• Title（参考訳）: iPrOp: ループに人間がいる大規模言語モデルの対話型プロンプト最適化
• Authors: Jiahui Li, Roman Klinger,
• Abstract要約: 本稿では,新しい対話型プロンプト最適化システムであるtextitiPrOp$を紹介する。 最適化ループへの人間の介入により、$textitiPrOp$は、進化するプロンプトを評価する柔軟性を提供する。
• 参考スコア（独自算出の注目度）: 10.210078164737245
• License:
• Abstract: Prompt engineering has made significant contributions to the era of large language models, yet its effectiveness depends on the skills of a prompt author. Automatic prompt optimization can support the prompt development process, but requires annotated data. This paper introduces $\textit{iPrOp}$, a novel Interactive Prompt Optimization system, to bridge manual prompt engineering and automatic prompt optimization. With human intervention in the optimization loop, $\textit{iPrOp}$ offers users the flexibility to assess evolving prompts. We present users with prompt variations, selected instances, large language model predictions accompanied by corresponding explanations, and performance metrics derived from a subset of the training data. This approach empowers users to choose and further refine the provided prompts based on their individual preferences and needs. This system not only assists non-technical domain experts in generating optimal prompts tailored to their specific tasks or domains, but also enables to study the intrinsic parameters that influence the performance of prompt optimization. Our evaluation shows that our system has the capability to generate improved prompts, leading to enhanced task performance.
• Abstract（参考訳）: プロンプトエンジニアリングは、大きな言語モデルの時代に大きな貢献をしてきたが、その効果はプロンプト作家のスキルに依存している。 自動的なプロンプト最適化は、迅速な開発プロセスをサポートするが、アノテートされたデータが必要である。 本稿では,対話型プロンプト最適化システムである$\textit{iPrOp}$を紹介し,手動プロンプト工学と自動プロンプト最適化を橋渡しする。 最適化ループへの人間の介入により、$\textit{iPrOp}$は、進化するプロンプトを評価する柔軟性を提供する。 ユーザに対して,学習データのサブセットから派生した,迅速なバリエーション,選択されたインスタンス,対応する説明を伴う大規模言語モデル予測,パフォーマンス指標を提示する。 このアプローチにより、ユーザは、個々の好みやニーズに基づいて、提供されたプロンプトを選択し、さらに洗練することができる。 このシステムは、特定のタスクやドメインに合わせて最適なプロンプトを生成するために、非技術者のドメインエキスパートを支援するだけでなく、プロンプト最適化の性能に影響を与える固有のパラメータも研究することができる。 評価の結果,システムには改善されたプロンプトを生成する能力があり,タスク性能が向上していることがわかった。

関連論文リスト

• TAPO: Task-Referenced Adaptation for Prompt Optimization [18.533289140594146]
  本稿では,3つの鍵モジュールからなるマルチタスク対応プロンプト最適化フレームワークTAPOを紹介する。 まず、タスク固有のプロンプト生成機能を強化するために、タスク対応メトリック選択モジュールを提案する。 次に,複数視点からのプロンプトを共同評価するマルチメトリック評価モジュールを提案する。 第3に、自動プロンプト改善のための進化ベースの最適化フレームワークが導入され、様々なタスクへの適応性が改善されている。
  論文  参考訳（メタデータ） (2025-01-12T02:43:59Z)
• A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
  本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。 限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。 私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
  論文  参考訳（メタデータ） (2025-01-07T03:51:10Z)
• IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
  本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。 IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。 画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
  論文  参考訳（メタデータ） (2024-10-20T14:10:22Z)
• SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
  大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。 本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。 47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
  論文  参考訳（メタデータ） (2024-10-18T18:51:44Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。