論文の概要: PromptSuite: A Task-Agnostic Framework for Multi-Prompt Generation

• arxiv url: http://arxiv.org/abs/2507.14913v1
• Date: Sun, 20 Jul 2025 10:55:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.122339
• Title: PromptSuite: A Task-Agnostic Framework for Multi-Prompt Generation
• Title（参考訳）: PromptSuite: マルチプロンプト生成のためのタスク非依存フレームワーク
• Authors: Eliya Habba, Noam Dahan, Gili Lior, Gabriel Stanovsky,
• Abstract要約: 本稿では,様々なプロンプトの自動生成を可能にするフレームワークであるPromptSuiteを紹介する。 PromptSuiteはフレキシブルで、さまざまなタスクやベンチマークに最初から取り組んでいます。 モジュール型のプロンプト設計に従っており、各コンポーネントに制御された摂動を可能にする。
• 参考スコア（独自算出の注目度）: 13.032106683136394
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Evaluating LLMs with a single prompt has proven unreliable, with small changes leading to significant performance differences. However, generating the prompt variations needed for a more robust multi-prompt evaluation is challenging, limiting its adoption in practice. To address this, we introduce PromptSuite, a framework that enables the automatic generation of various prompts. PromptSuite is flexible - working out of the box on a wide range of tasks and benchmarks. It follows a modular prompt design, allowing controlled perturbations to each component, and is extensible, supporting the addition of new components and perturbation types. Through a series of case studies, we show that PromptSuite provides meaningful variations to support strong evaluation practices. It is available through both a Python API: https://github.com/eliyahabba/PromptSuite, and a user-friendly web interface: https://promptsuite.streamlit.app/
• Abstract（参考訳）: LLMを1つのプロンプトで評価することは信頼性が低いことが証明され、小さな変更によって性能に大きな違いが生じた。 しかし、より堅牢なマルチプロンプト評価に必要な急激なバリエーションを生成することは困難であり、実際には採用を制限している。 これを解決するために、さまざまなプロンプトの自動生成を可能にするフレームワークであるPromptSuiteを紹介します。 PromptSuiteはフレキシブルで、さまざまなタスクやベンチマークに最初から取り組んでいます。 モジュール型のプロンプト設計に従い、各コンポーネントに制御された摂動を可能にし、新しいコンポーネントと摂動タイプの追加をサポートする拡張可能である。 一連のケーススタディを通じて、PromptSuiteは、強力な評価プラクティスをサポートするために有意義なバリエーションを提供することを示した。 https://github.com/eliyahabba/PromptSuite とユーザフレンドリーな Web インターフェース https://promptsuite.streamlit.app/ の両方を通じて利用できる。

関連論文リスト

• PromptPex: Automatic Test Generation for Language Model Prompts [0.3999851878220877]
  大規模言語モデル(LLM)は多くのアプリケーションで使われている。 プロンプトは、入力を受け取り、出力を生成し、特定の機能を実行するという、従来のソフトウェアのように振る舞う。 しかし、プロンプトは多くの点で従来のコードと異なり、堅牢であることを保証するために新しいアプローチが必要である。
  論文  参考訳（メタデータ） (2025-03-07T01:31:03Z)
• Prompt Exploration with Prompt Regression [38.847668543140315]
  本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。 我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
  論文  参考訳（メタデータ） (2024-05-17T20:30:49Z)
• On Meta-Prompting [17.34602431188454]
  現代の大規模言語モデル(LLM)は、入力文字列を命令やプロンプトとして解釈し、それらに基づいてタスクを実行することができる。 プロンプトとプレトレーニングのための多くのアプローチは、メタプロンプトとして知られるこれらのプロンプトの自動生成を含んでいる。 ユーザと対話する際のICLとLCMの挙動を一般化し記述するためのカテゴリ理論に基づく理論的枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-11T17:46:44Z)
• Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution [16.47984374868577]
  本稿では,汎用的な自己参照型自己改善機構であるPromptbreederを提案する。 Promptbreederはタスクプロンプトの個体群を変異させ、その後トレーニングセットで適合性を評価する。 Promptbreederは、ヘイトスピーチ分類の難しい問題のために複雑なタスクプロンプトを進化させることができる。
  論文  参考訳（メタデータ） (2023-09-28T19:01:07Z)
• Demystifying Prompts in Language Models via Perplexity Estimation [109.59105230163041]
  プロンプトのパフォーマンスは、モデルが含んでいる言語に精通している範囲と結合している。 プロンプトの難易度が低ければ低いほど、プロンプトがタスクを実行することができることを示す。
  論文  参考訳（メタデータ） (2022-12-08T02:21:47Z)
• TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
  強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。 従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。 本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
  論文  参考訳（メタデータ） (2022-11-21T22:38:20Z)
• IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
  Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。 本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
  論文  参考訳（メタデータ） (2022-04-09T15:45:27Z)
• HyperPrompt: Prompt-based Task-Conditioning of Transformers [69.12812145948232]
  HyperPromptは、トランスフォーマーにおける自己アテンションのプロンプトベースのタスクコンディショニングのための新しいアーキテクチャである。 ハイパープロンプトはHyperNetworkの生成を通じてエンドツーエンドで学習可能である。 我々はHyperPromptが、タスク条件パラメータを0.14%も加えることなく、強力なマルチタスク学習ベースラインと競合していることを示す。
  論文  参考訳（メタデータ） (2022-03-01T21:57:34Z)
• Zero-shot Cross-lingual Transfer of Prompt-based Tuning with a Unified Multilingual Prompt [98.26682501616024]
  我々はUniPromptと呼ばれるすべての言語に対して統一的なプロンプトを使用する新しいモデルを提案する。 統一的なプロンプトは多言語 PLM による計算であり、言語に依存しない表現を生成する。 提案手法は、異なる言語間で強いベースラインを著しく上回ることができる。
  論文  参考訳（メタデータ） (2022-02-23T11:57:52Z)
• OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
  PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。 OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
  論文  参考訳（メタデータ） (2021-11-03T03:31:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。