論文の概要: Automatic Prompt Generation via Adaptive Selection of Prompting Techniques
- arxiv url: http://arxiv.org/abs/2510.18162v1
- Date: Mon, 20 Oct 2025 23:28:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 03:08:12.727124
- Title: Automatic Prompt Generation via Adaptive Selection of Prompting Techniques
- Title(参考訳): プロンプト手法の適応選択による自動プロンプト生成
- Authors: Yohei Ikenoue, Hitomi Tashiro, Shigeru Kuroyanagi,
- Abstract要約: 本稿では,ユーザの抽象的なタスク記述に基づいて,タスク適切なプロンプト手法を適応的に選択する手法を提案する。
提案手法は,多様なタスクにまたがる意味的類似性を特徴とする,タスククラスタを関連付ける知識ベースを構築する。
BIG-Bench Extra Hardによる23のタスクに対する提案手法の実験的評価は,標準的なプロンプトよりも優れた性能を示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Prompt engineering is crucial for achieving reliable and effective outputs from large language models (LLMs), but its design requires specialized knowledge of prompting techniques and a deep understanding of target tasks. To address this challenge, we propose a novel method that adaptively selects task-appropriate prompting techniques based on users' abstract task descriptions and automatically generates high-quality prompts without relying on pre-existing templates or frameworks. The proposed method constructs a knowledge base that associates task clusters, characterized by semantic similarity across diverse tasks, with their corresponding prompting techniques. When users input task descriptions, the system assigns them to the most relevant task cluster and dynamically generates prompts by integrating techniques drawn from the knowledge base. An experimental evaluation of the proposed method on 23 tasks from BIG-Bench Extra Hard (BBEH) demonstrates superior performance compared with standard prompts and existing automatic prompt-generation tools, as measured by both arithmetic and harmonic mean scores. This research establishes a foundation for streamlining and standardizing prompt creation, enabling non-experts to effectively leverage LLMs.
- Abstract(参考訳): プロンプトエンジニアリングは、大規模言語モデル(LLM)からの信頼性と効果的なアウトプットを達成するために重要であるが、その設計には、テクニックの促進に関する専門知識と、目標とするタスクの深い理解が必要である。
そこで本稿では,ユーザの抽象的なタスク記述に基づいてタスク適切なプロンプト手法を適応的に選択し,既存のテンプレートやフレームワークに頼らずに高品質なプロンプトを自動的に生成する手法を提案する。
提案手法は,タスククラスタを関連づける知識ベースを構築し,タスク間のセマンティックな類似性を特徴とする。
ユーザがタスク記述を入力すると、システムはそれらを最も関連性の高いタスククラスタに割り当て、知識ベースから引き出された技法を統合することによってプロンプトを動的に生成する。
BIG-Bench Extra Hard (BBEH) による23のタスクに対する提案手法の実験的評価は,算術平均スコアと調和平均スコアの両方で測定されるように,標準的なプロンプトや既存の自動プロンプト生成ツールと比較して優れた性能を示す。
本研究は即時生成の合理化と標準化のための基盤を確立し,非専門家がLLMを効果的に活用できるようにする。
関連論文リスト
- Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文 参考訳(メタデータ) (2025-02-08T00:16:44Z) - A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。
限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。
私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
論文 参考訳(メタデータ) (2025-01-07T03:51:10Z) - Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
効率的なプロンプティング手法は幅広い注目を集めている。
本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
論文 参考訳(メタデータ) (2024-04-01T12:19:08Z) - Intent-based Prompt Calibration: Enhancing prompt optimization with
synthetic boundary cases [2.6159111710501506]
本稿では,ユーザ意図に対するプロンプトを反復的に洗練するキャリブレーションプロセスを用いて,自動プロンプトエンジニアリングの新しい手法を提案する。
我々は,モデレーションや生成といった現実的なタスクにおいて,強力なプロプライエタリなモデルに対して,本手法の有効性を示す。
論文 参考訳(メタデータ) (2024-02-05T15:28:43Z) - Automated Few-shot Classification with Instruction-Finetuned Language
Models [76.69064714392165]
我々は、AuT-Fewが最先端の数ショット学習方法より優れていることを示す。
AuT-Few は RAFT few-shot ベンチマークにおいて,データセット間で最高のランク付け手法であることを示す。
論文 参考訳(メタデータ) (2023-05-21T21:50:27Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - STPrompt: Semantic-guided and Task-driven prompts for Effective Few-shot
Classification [5.6205035780719275]
本稿ではSTPrompt-Semantic-GuidedおよびTask-driven Promptモデルを提案する。
提案モデルでは,テキスト分類タスクの5つの異なるデータセットにおいて,最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-10-29T04:42:30Z) - Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。
異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。
このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-08-05T15:26:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。