論文の概要: iPOE: Interpretable Prompt Optimization via Explanations

• arxiv url: http://arxiv.org/abs/2605.18113v2
• Date: Wed, 27 May 2026 11:07:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:54.685445
• Title: iPOE: Interpretable Prompt Optimization via Explanations
• Title（参考訳）: iPOE:説明による解釈可能なプロンプト最適化
• Authors: Jiahui Li, Yarik Menchaca Resendiz, Sean Papay, Roman Klinger,
• Abstract要約: iPOEは、説明による新しい解釈可能なプロンプト最適化戦略である。 We found that iPOE can improve over the evaluation baselines to up 39% by LLM explaineds can replaced human explanations。
• 参考スコア（独自算出の注目度）: 9.395538386620096
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prompt optimization has often been framed as a discrete search problem to find high-performing and robust instructions for an LLM. However, the search result might not make it transparent why and where specific prompt changes lead to performance gains. This is in contrast to how humans are instructed for annotation tasks. Here, researchers carefully design annotation guidelines, leading to enhanced annotation consistency. Our paper aims at joining these two approaches and introduces iPOE, a novel interpretable prompt optimization strategy via explanations. We guide the prompt optimization process by automatically created guidelines from explanations of annotation decisions (either automatically generated or from humans). This set of guidelines is furthermore optimized by as series of operations, including removing, adding, shuffling, and merging. The resulting prompt includes guidelines that instruct the annotation, making the decision process of the LLM and the optimization transparent. It therefore supports also laypeople in the area of prompt optimization, particularly in challenging domains requiring expertise. In our experiments on four datasets, we find that iPOE can improves over the evaluated baselines by up to 39% and LLM explanations can replace human explanations in the proposed method. Moreover, our interpretability validation study demonstrates that humans and LLMs can substantially agree on which guidelines contribute to their annotations, achieving a Cohen's kappa score of up to 0.65.
• Abstract（参考訳）: プロンプト最適化はしばしば、LLMの高性能で堅牢な命令を見つけるために、離散的な探索問題としてフレーム化されてきた。 しかし、検索結果は、なぜ、どこで特定のプロンプト変更がパフォーマンス向上につながるのかを透明にしないかもしれない。 これは、人間がアノテーションのタスクを指示される方法とは対照的である。 ここで、研究者はアノテーションガイドラインを慎重に設計し、アノテーションの一貫性を高めた。 本稿は,これら2つのアプローチを組み込むことを目標とし,説明を通じて解釈可能な新しい最適化戦略iPOEを導入する。 我々は、アノテーション決定(自動生成または人間から)の説明からガイドラインを自動作成することにより、迅速な最適化プロセスを導出する。 この一連のガイドラインは、削除、追加、シャッフル、マージを含む一連の操作によってさらに最適化されている。 結果として得られるプロンプトは、アノテーションを指示するガイドラインを含み、LCMの決定プロセスと最適化を透過的にする。 したがって、特に専門知識を必要とする挑戦的な領域において、迅速な最適化の領域では、レイパーもサポートしている。 4つのデータセットに対する実験の結果,iPOEは評価基準値よりも最大39%向上し,LLMの説明は提案手法の人間の説明に取って代わることができることがわかった。 さらに,本研究は,人間とLLMがアノテーションにどのガイドラインが貢献するかについて,最大0.65のカッパスコアを達成できることを示す。

関連論文リスト

• Small Language Model Helps Resolve Semantic Ambiguity of LLM Prompt [13.863963355859175]
  本稿では、明示的なプロンプト曖昧化による事前推論プロンプト最適化機構を提案する。 我々は、プロンプト内のセマンティックリスクを特定し、それらのマルチパースペクティブ一貫性を確認し、セマンティックコンフリクトを解決する。 本手法は, 推理性能を0.02ドルで2.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-04-25T12:13:26Z)
• Rethinking Prompt Optimizers: From Prompt Merits to Optimization [14.01541576309104]
  MePOはメリット誘導型プロンプトデータセットでトレーニングされた、メリット誘導型でローカルにデプロイ可能なプロンプトである。 MePOはオンライン最適化を避け、プライバシーの懸念を減らし、明確で解釈可能なメリットを学習することで、大規模な推論モデルと軽量推論モデルの両方に効果的に一般化する。
  論文  参考訳（メタデータ） (2025-05-15T03:31:37Z)
• Meta-Prompt Optimization for LLM-Based Sequential Decision Making [24.050701239196876]
  大規模言語モデル(LLM)は、シーケンシャルな意思決定タスクを解決するエージェントとして採用されている。 メタプロンプトにおけるタスク記述とメタインストラクションを自動的に最適化する,プロンプト最適化(EXPO)のためのEXPonential-weightアルゴリズムを提案する。 また、EXPOを拡張して、メタプロンプトの例を最適化し、パフォーマンスをさらに向上する。
  論文  参考訳（メタデータ） (2025-02-02T09:22:39Z)
• IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
  本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。 IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。 画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
  論文  参考訳（メタデータ） (2024-10-20T14:10:22Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling [20.0605311279483]
  マルチステップタスク(PROMST)におけるPRompt Optimizationを導入する。 人間が設計したフィードバックルールを組み込んで、改善のための直接提案を自動的に提供する。 これは、人間工学的なプロンプトと、他のいくつかのプロンプト最適化手法の両方において、11の代表的なマルチステップタスクよりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-02-13T16:38:01Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。