論文の概要: System Prompt Optimization with Meta-Learning

• arxiv url: http://arxiv.org/abs/2505.09666v1
• Date: Wed, 14 May 2025 16:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.049682
• Title: System Prompt Optimization with Meta-Learning
• Title（参考訳）: メタラーニングによるシステムプロンプト最適化
• Authors: Yumin Choi, Jinheon Baek, Sung Ju Hwang,
• Abstract要約: 本稿では,多様なユーザプロンプトに対して堅牢なシステムプロンプトを設計することを目的とした,バイレベルシステムプロンプト最適化の新たな課題を紹介する。 本稿では,複数のデータセットにまたがるさまざまなユーザプロンプトに対して最適化することで,システムプロンプトをメタラーニングするメタラーニングフレームワークを提案する。 5つの異なるドメインにまたがる14の未知のデータセットに対して実験を行い、このアプローチが多様なユーザプロンプトに効果的に一般化するシステムプロンプトを生成することを示す。
• 参考スコア（独自算出の注目度）: 60.04718679054704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown remarkable capabilities, with optimizing their input prompts playing a pivotal role in maximizing their performance. However, while LLM prompts consist of both the task-agnostic system prompts and task-specific user prompts, existing work on prompt optimization has focused on user prompts specific to individual queries or tasks, and largely overlooked the system prompt that is, once optimized, applicable across different tasks and domains. Motivated by this, we introduce the novel problem of bilevel system prompt optimization, whose objective is to design system prompts that are robust to diverse user prompts and transferable to unseen tasks. To tackle this problem, we then propose a meta-learning framework, which meta-learns the system prompt by optimizing it over various user prompts across multiple datasets, while simultaneously updating the user prompts in an iterative manner to ensure synergy between them. We conduct experiments on 14 unseen datasets spanning 5 different domains, on which we show that our approach produces system prompts that generalize effectively to diverse user prompts. Also, our findings reveal that the optimized system prompt enables rapid adaptation even to unseen tasks, requiring fewer optimization steps for test-time user prompts while achieving improved performance.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、そのパフォーマンスを最大化する上で重要な役割を果たす入力プロンプトを最適化するなど、目覚ましい能力を示している。 しかし、LCMプロンプトはタスクに依存しないシステムプロンプトとタスク固有のユーザープロンプトの両方で構成されているが、既存のプロンプトは個々のクエリやタスクに特有のユーザープロンプトに重点を置いており、かつて最適化されたシステムプロンプトは様々なタスクやドメインにまたがって適用されている。 そこで本研究では,多様なユーザプロンプトに対して堅牢なシステムプロンプトを設計し,未知のタスクに転送可能なシステムプロンプトを設計することを目的として,バイレベルシステムプロンプト最適化という新たな課題を紹介した。 この問題に対処するため,複数のデータセットにまたがる様々なユーザプロンプトを最適化し,同時にユーザプロンプトを反復的に更新することで,システムプロンプトをメタラーニングするメタラーニングフレームワークを提案する。 5つの異なるドメインにまたがる14の未知のデータセットに対して実験を行い、このアプローチが多様なユーザプロンプトに効果的に一般化するシステムプロンプトを生成することを示す。 また, 最適化システムにより, 未確認タスクにも迅速な適応が可能であり, 性能向上を図りながら, テスト時のユーザプロンプトの最適化手順の短縮が要求されることがわかった。

関連論文リスト

• TAPO: Task-Referenced Adaptation for Prompt Optimization [18.533289140594146]
  本稿では,3つの鍵モジュールからなるマルチタスク対応プロンプト最適化フレームワークTAPOを紹介する。 まず、タスク固有のプロンプト生成機能を強化するために、タスク対応メトリック選択モジュールを提案する。 次に,複数視点からのプロンプトを共同評価するマルチメトリック評価モジュールを提案する。 第3に、自動プロンプト改善のための進化ベースの最適化フレームワークが導入され、様々なタスクへの適応性が改善されている。
  論文  参考訳（メタデータ） (2025-01-12T02:43:59Z)
• iPrOp: Interactive Prompt Optimization for Large Language Models with a Human in the Loop [10.210078164737245]
  本稿では,新しい対話型プロンプト最適化システムであるtextitiPrOp$を紹介する。 最適化ループへの人間の介入により、$textitiPrOp$は、進化するプロンプトを評価する柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-12-17T08:09:15Z)
• SPRIG: Improving Large Language Model Performance by System Prompt Optimization [45.96513122345295]
  大きな言語モデル(LLM)は多くのシナリオで印象的な機能を示しているが、そのパフォーマンスはプロンプトの選択に依存している。 本研究では,モデルの性能を最大化するために,既定成分からのプロンプトを反復的に構築する編集に基づく遺伝的アルゴリズムであるSPRIGを提案する。 47種類のタスクの集合に対して,システムプロンプトの性能を評価し,一般化性を確保する。
  論文  参考訳（メタデータ） (2024-10-18T18:51:44Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Multitask Vision-Language Prompt Tuning [103.5967011236282]
  マルチタスク視覚言語プロンプトチューニング(MV)を提案する。 MVはクロスタスクの知識を視覚言語モデルの迅速なチューニングに取り入れている。 20個の視覚タスクの結果、提案手法は全ての単一タスクのベースライン・プロンプト・チューニング法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-11-21T18:41:44Z)
• Optimizing Interactive Systems via Data-Driven Objectives [70.3578528542663]
  本稿では,観察されたユーザインタラクションから直接目的を推測する手法を提案する。 これらの推論は、事前の知識によらず、様々な種類のユーザー行動にまたがって行われる。 本稿では,これらの推定対象を最適化するために利用する新しいアルゴリズムであるInteractive System(ISO)を紹介する。
  論文  参考訳（メタデータ） (2020-06-19T20:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。