論文の概要: Prompt Codebooks: Discrete Compositional Optimization for Language Model Instruction Refinement

• arxiv url: http://arxiv.org/abs/2605.28360v1
• Date: Wed, 27 May 2026 11:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:56.025193
• Title: Prompt Codebooks: Discrete Compositional Optimization for Language Model Instruction Refinement
• Title（参考訳）: Prompt Codebooks: 言語モデルの命令再定義のための離散的な構成最適化
• Authors: Jyotirmoy Nath, Neeraj Kumar, Brejesh Lall,
• Abstract要約: 本稿では,新しい合成プロンプト最適化フレームワークであるPrompt Codebooksを提案する。 これは、APOを自然言語本能の有限語彙上の離散学習であると再認識する。 ゼロショット以上は+30.36ポイントまで改善され、HotpotQAでは+3.34、アグリゲートでは+1.11で最強のベースライン(GEPA)を超える。
• 参考スコア（独自算出の注目度）: 10.441136483320205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic prompt optimization (APO) has driven significant gains in LLM-based agentic workflows. However, existing methods treat each task's prompt as a monolithic, instance-blind string optimized through global edits, producing brittle updates and preventing the reuse of learned sub-behaviors. We propose Prompt Codebooks (PCO), a novel compositional prompt optimization framework that recasts APO as discrete learning over a finite vocabulary of natural-language instincts - atomic, reusable instruction units. PCO organizes prompt-construction knowledge in a discrete codebook and routes each input to a small subset of entries via an LLM-based encoder; a generator composes them into a prompt for the frozen target model; a critic emits a structured verdict that decomposes by attribution into per-variable textual gradients, jointly training the encoder, generator, and codebook under a language-valued min-max objective. The resulting routing is per-instance: different inputs in the same task receive different instinct compositions, a regime structurally inexpressible under instance-blind methods. Across six benchmarks on Qwen3-8B and LLaMA-3.1-8B, PCO improves over zero-shot by up to +30.36 points, surpasses the strongest prior baseline (GEPA) by +3.34 on HotpotQA and +1.11 in aggregate, and reduces deployed prompt length by up to 14.1x versus MIPROv2 and 3.0x versus GEPA using only K=16 instincts.
• Abstract（参考訳）: 自動プロンプト最適化(APO)は、LLMベースのエージェントワークフローにおいて大きな進歩をもたらした。 しかし、既存のメソッドは各タスクのプロンプトを、グローバルな編集によって最適化されたモノリシックなインスタンス右翼文字列として扱い、不安定な更新を生成し、学習したサブ振る舞いの再利用を防ぐ。 本稿では,APOを自然言語直観の有限語彙(原子的,再利用可能な命令単位)上で離散学習とみなす新しい構成的プロンプト最適化フレームワークであるPrompt Codebooks (PCO)を提案する。 PCOは、離散コードブック内のプロンプト構成知識を整理し、各入力をLSMベースのエンコーダを介してエントリの小さなサブセットにルーティングし、ジェネレータはそれらを凍結対象モデルのプロンプトに構成する。 同一タスク内の異なる入力は異なる本能的な構成を受け取り、インスタンスの盲点法では構造的に表現できない。 Qwen3-8BとLLaMA-3.1-8Bの6つのベンチマークで、PCOはゼロショットを+30.36点まで改善し、HotpotQAでは+3.34点、累積では+1.11点、K=16本能では最大14.1倍、MIPROv2では3.0倍という最強のベースライン(GEPA)を上回った。

関連論文リスト

• Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts [22.060204303535187]
  システムプロンプトは、現代のAIシステムにおいて中心的な制御メカニズムであり、会話、タスク、ユーザ集団間での振る舞いを形作る。 本研究では,この集合フィードバック設定を,個別の可変長テキストに対するサンプル制約付きブラックボックス最適化として検討する。 本稿では,ベイズ最適化フレームワークReElicitを紹介する。
  論文  参考訳（メタデータ） (2026-05-18T20:28:17Z)
• Compiling Deterministic Structure into SLM Harnesses [0.6117371161379209]
  小型言語モデル(SLM)は高価であり、大量使用にはデータ主権が制限される。 本稿では,エージェント改善を個別実行計画にコンパイルするSGDe(Semantic Gradient Descent)を提案する。
  論文  参考訳（メタデータ） (2026-04-19T14:04:29Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• ZERA: Zero-init Instruction Evolving Refinement Agent - From Zero Instructions to Structured Prompts via Principle-based Optimization [6.591649491003996]
  ZERAはシステムとユーザプロンプトを共同で最適化する新しいフレームワークである。 ZERAは自動的に推定される重み付き8つの一般化可能な基準を用いてプロンプトをスコアし、構造化された批判に基づいてプロンプトを改訂する。 推論,要約,コード生成タスクにまたがる5つの大きな言語モデルと9つの多様なデータセットのZERAを評価する。
  論文  参考訳（メタデータ） (2025-09-17T01:47:29Z)
• Automatic Prompt Optimization for Knowledge Graph Construction: Insights from an Empirical Study [8.482898222291206]
  テキストからのトリプル(オブジェクト-リレーショナルオブジェクト)抽出は、KG構築の基本的な構成要素である。 NLPタスク(例えば自律生成)における最近の作業では、この課題に対処するために自動的なプロンプト最適化/エンジニアリングを使用している。 我々は、(a)プロンプト戦略、(b)プロンプト最適化とタスク実行に使用されるLLM、(c)スキーマにおける標準関係の数、(d)入力テキストの長さと多様性、(e)プロンプト最適化に使用されるメトリック、および(f)トレーニングとテストに使用されるデータセットを変更することで異なる設定を評価する。
  論文  参考訳（メタデータ） (2025-06-24T16:38:49Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Prompt Optimization via Adversarial In-Context Learning [51.18075178593142]
  adv-ICLは、ジェネレータとディスクリミネータの間の2プレイヤーゲームとして実装される。 ジェネレータは、判別器を騙すのに十分な出力を生成する。 本稿では,Adv-ICLが最先端のプロンプト最適化技術を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:44:45Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。