論文の概要: Error Taxonomy-Guided Prompt Optimization

• arxiv url: http://arxiv.org/abs/2602.00997v1
• Date: Sun, 01 Feb 2026 03:27:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.515859
• Title: Error Taxonomy-Guided Prompt Optimization
• Title（参考訳）: 誤り分類法に基づくプロンプト最適化
• Authors: Mayank Singh, Vikas Yadav, Eduardo Blanco,
• Abstract要約: 本稿では,トップダウンアプローチを採用した即時最適化アルゴリズムETGPOを提案する。 ETGPOは、モデルエラーを収集し、それらを分類に分類し、最も頻繁な障害モードをターゲットにしたガイダンスでプロンプトを強化することで、グローバルな障害状況に焦点を当てている。 ETGPOは、最適化フェーズトークンの使用と評価予算のおよそ3分の1を必要としながら、最先端の手法と同等かそれ以上の精度を達成する。
• 参考スコア（独自算出の注目度）: 14.654343320792941
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Prompt Optimization (APO) is a powerful approach for extracting performance from large language models without modifying their weights. Many existing methods rely on trial-and-error, testing different prompts or in-context examples until a good configuration emerges, often consuming substantial compute. Recently, natural language feedback derived from execution logs has shown promise as a way to identify how prompts can be improved. However, most prior approaches operate in a bottom-up manner, iteratively adjusting the prompt based on feedback from individual problems, which can cause them to lose the global perspective. In this work, we propose Error Taxonomy-Guided Prompt Optimization (ETGPO), a prompt optimization algorithm that adopts a top-down approach. ETGPO focuses on the global failure landscape by collecting model errors, categorizing them into a taxonomy, and augmenting the prompt with guidance targeting the most frequent failure modes. Across multiple benchmarks spanning mathematics, question answering, and logical reasoning, ETGPO achieves accuracy that is comparable to or better than state-of-the-art methods, while requiring roughly one third of the optimization-phase token usage and evaluation budget.
• Abstract（参考訳）: 自動プロンプト最適化(APO)は、重みを変更せずに大規模言語モデルから性能を抽出する強力な手法である。 既存の多くのメソッドは試行錯誤に依存し、異なるプロンプトやコンテキスト内の例をテストする。 最近、実行ログから派生した自然言語フィードバックは、どのようにプロンプトを改善できるかを特定する方法として、promiseを示している。 しかし、従来のほとんどのアプローチはボトムアップ方式で運用されており、個々の問題からのフィードバックに基づいてプロンプトを反復的に調整することで、グローバルな視点を失う可能性がある。 本研究では,トップダウンアプローチを採用する最適化アルゴリズムであるETGPO(Error Taxonomy-Guided Prompt Optimization)を提案する。 ETGPOは、モデルエラーを収集し、それらを分類に分類し、最も頻繁な障害モードをターゲットにしたガイダンスでプロンプトを強化することで、グローバルな障害状況に焦点を当てている。 数学、質問応答、論理的推論にまたがる複数のベンチマークにおいて、ETGPOは最先端の手法に匹敵する精度を達成し、最適化段階のトークンの使用と評価予算のおよそ3分の1を必要としている。

関連論文リスト

• Optimizing Prompts for Large Language Models: A Causal Approach [8.091354120300972]
  本稿では,因果推定の問題として設計を即時的に再編成するフレームワークを提案する。 CPOは、人間工学的なプロンプトや最先端の自動化よりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-02T06:37:11Z)
• Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization [13.8868879878572]
  構造化最適化アプローチでは、改良されたプロンプトを開発するには、自動または半自動の手順が必要である。 現在のプロンプト最適化手法は、しばしばプロンプトドリフトを誘導し、新しいプロンプトが前の障害を修正するが、以前成功したタスクのパフォーマンスを損なう。 本研究では,(1)学習データにおける誤りパターンをターゲットとした動的帰属機構,(2)機能的プロンプトセグメントを編集するための意味単位最適化,(3)エンドツーエンドのLSMとLM-MLLMの両方をサポートするマルチモーダル・フレンドリなプロンプト・プロンプト・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-06T03:34:17Z)
• ASPO: Adaptive Sentence-Level Preference Optimization for Fine-Grained Multimodal Reasoning [14.034412856423529]
  直接選好最適化(DPO)は,大規模言語モデル(LLM)の整合性において,その単純さと計算効率に注目されている。 最近の進歩はDPOをマルチモーダルシナリオに拡張し、高いパフォーマンスを実現している。 従来のDPOは、細かなセグメントの正しさを考慮せずに、二分選好の最適化、報酬、全応答のペナルティ化に依存している。 本稿では、より正確な選好最適化のために個々の文を評価する適応文レベルの選好最適化(ASPO)を提案する。
  論文  参考訳（メタデータ） (2025-05-25T11:33:08Z)
• $f$-PO: Generalizing Preference Optimization with $f$-divergence Minimization [54.94545757220999]
  $f$-POは、既存のアプローチを一般化し拡張する新しいフレームワークである。 ベンチマークデータセットを用いて最先端言語モデルの実験を行う。
  論文  参考訳（メタデータ） (2024-10-29T02:11:45Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。