論文の概要: Automatically Evolving Prompt Guidelines for Task-Specific Optimization

• arxiv url: http://arxiv.org/abs/2607.14105v1
• Date: Thu, 07 May 2026 15:50:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.90182
• Title: Automatically Evolving Prompt Guidelines for Task-Specific Optimization
• Title（参考訳）: タスク特化最適化のためのプロンプトガイドラインの自動展開
• Abstract要約: 大規模な言語モデルでは、ユーザクエリは不特定であることが多い。 既存の緊急エンジニアリングガイドラインは、この問題を緩和することを目的としており、典型的には汎用的でタスクに依存しない。 最適化手法を用いてタスク固有のガイドラインを進化させる自動アプローチであるAGOPSを提案する。
• 参考スコア（独自算出の注目度）: 12.329476612271442
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: For Large Language Models to reliably answer user queries, users must clearly specify requirements, context, and constraints. In practice, however, user queries are often underspecified, forcing models to infer unstated assumptions that may misalign with the actual user intent. Existing prompt engineering guidelines aim to mitigate this issue, they are typically generic and task-agnostic, limiting their practical utility. Additionally, existing guidelines are formed manually and in a non-systematic way. To this end, we study prompt guideline optimization: the problem of automatically generating task-specific guidelines that help write better-specified prompts for a given task and model. Our key observation is that existing (completed) task examples (aka reference answers) often implicitly encode the missing information required to complete underspecified queries, including behavioral constraints, contextual assumptions, and evaluation criteria. We therefore propose AGOPS, an automatic approach that evolves task-specific guidelines via an optimization scheme that involves a prompt LLM writer, a solver LLM and prompt evolution, which maximize downstream effectiveness on a set of examples (user queries with reference answers). At inference time, our guidelines help users write well-specified prompts, boosting the effectiveness of LLMs. We show across mathematical reasoning, medical question answering, and coding tasks, that prompt underspecification leads to major drops (up to 95.3%) in downstream task performance (compared to well-specified prompts) and, perhaps more importantly, that this drop can hardly be recovered by existing prompt optimization techniques. Users following AGOPS guidelines can regain this loss (increasing performance between 15.5 to 81.7% on average) consistently across all benchmarks.
• Abstract（参考訳）: 大きな言語モデルがユーザクエリに確実に答えるためには、ユーザーは要求、コンテキスト、制約を明確に指定する必要がある。 しかし、実際には、ユーザクエリはしばしば過小評価され、実際のユーザ意図に反する可能性のある、予測されていない仮定をモデルに推論せざるを得ない。 既存の急進的な技術ガイドラインは、この問題を緩和することを目的としており、それらは一般的に汎用的でタスクに依存しないものであり、実用性を制限している。 さらに、既存のガイドラインは手動で、非体系的な方法で作成されます。 そこで本研究では,与えられたタスクやモデルに対して,より明確なプロンプトの記述を支援するタスク固有のガイドラインを自動生成する問題として,プロンプトガイドラインの最適化について検討する。 私たちのキーとなる観察は、既存の(完了した)タスク例(つまり参照回答)は、振る舞い制約、コンテキスト仮定、評価基準を含む、未特定クエリを完了させるために必要な不足情報を暗黙的にエンコードすることが多いということです。 そこで本研究では,一組の事例(参照回答を含むユーザクエリ)において,LLMライタ,LLMライタ,およびプロンプト進化を含む最適化手法を用いて,タスク固有のガイドラインを進化させる自動手法であるAGOPSを提案する。 推測時,本ガイドラインはユーザが適切に特定されたプロンプトを書くのに役立ち,LLMの有効性を高める。 我々は、数学的推論、医学的質問応答、コーディングタスクにまたがって、急激な不特定化が下流タスクのパフォーマンス(適切に特定されたプロンプトと比較して)の大きな低下(最大95.3%)を招き、おそらく、この低下が既存の迅速な最適化手法によってほとんど回復できないことを示す。 AGOPSガイドラインに従うユーザは、すべてのベンチマークで一貫してこの損失(平均15.5から81.7%のパフォーマンス向上)を取り戻すことができる。

関連論文リスト

• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• CAPO: Constraint-Aware Prompt Optimization for LLM Agents [9.4076372340902]
  大規模言語モデル(LLM)は、ツールやタスクの完全な使用をシステムプロンプトに依存するエージェントとして、ますます多くデプロイされている。 本稿では,プールベースリライトと適応的制約重み付けを組み合わせて,明示的な操作制約の下でシステムプロンプトを最適化するプリミティブ・デュアル手法CAPOを紹介する。 また,DCAPOを導入し,タスクエージェントの凍結を保ちながら,プールベースのGRPOでフィードバックと二重条件のリライタを訓練する。
  論文  参考訳（メタデータ） (2026-08-17T04:01:04Z)
• TAPR: Enhancing LLM Performance with a Task-Aware Prompt Rewriter [1.6003479913250962]
  大きな言語モデル(LLM)は、しばしばその潜在能力を最大限に解き放つために慎重に設計されたプロンプトを必要とする。 この作業は、ユーザプロンプトをタスク最適化プロンプトに再構成するモデルである、タスク対応プロンプトリライター(TAPR)の導入による課題に対処する。
  論文  参考訳（メタデータ） (2026-07-17T15:37:07Z)
• TATRA: Training-Free Instance-Adaptive Prompting Through Rephrasing and Aggregation [10.52527481709651]
  大きな言語モデル(LLM)は大幅に改善されているが、その振舞いは表現の速さに非常に敏感である。 本稿では,インスタンス固有の少数ショットプロンプトを構成するデータセットフリープロンプトであるTATRAを紹介する。 数学的推論ベンチマークでは、TATRAはGSM8KとDeepMathで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-06T19:20:35Z)
• What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts [29.524016943865337]
  特定されていないプロンプトは、モデルにまたがったり変更を促したりする可能性の2倍であり、精度が20%を超えることもある。 本稿では,平均オーバーベースラインにおける性能を4.8%向上させる要求対応プロンプト最適化機構を提案する。
  論文  参考訳（メタデータ） (2025-05-19T17:03:42Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• On the Worst Prompt Performance of Large Language Models [93.13542053835542]
  大規模言語モデル(LLM)の性能は,プロンプトの表現に非常に敏感である。 セマンティックに等価なケースレベルのクエリで構成される新しいベンチマークであるRobustAlpacaEvalを紹介する。 RobustAlpacaEvalとChatGPT、およびLlama、Mistral、Gemmaファミリーの6つのオープンソースLLMによる実験により、モデル性能のかなりのばらつきが明らかになった。
  論文  参考訳（メタデータ） (2024-06-08T13:40:38Z)
• Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
  大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。 LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。 LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
  論文  参考訳（メタデータ） (2024-05-30T17:05:45Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• From Instructions to Constraints: Language Model Alignment with Automatic Constraint Verification [70.08146540745877]
  NLPタスクの共通制約を調査し、それらの引数の型に基づいて、それらを3つのクラスに分類する。 本稿では,ACT(ConsTraintsのアラインメント)という統合フレームワークを提案し,制約に適応したユーザアライメントのための監視信号を自動的に生成する。
  論文  参考訳（メタデータ） (2024-03-10T22:14:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。