論文の概要: Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients

• arxiv url: http://arxiv.org/abs/2601.04055v1
• Date: Wed, 07 Jan 2026 16:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.682209
• Title: Modular Prompt Optimization: Optimizing Structured Prompts with Section-Local Textual Gradients
• Title（参考訳）: モジュール型プロンプト最適化:部分局所テキスト勾配による構造化プロンプトの最適化
• Authors: Prith Sharma, Austin Z. Henley,
• Abstract要約: 本稿では,プロンプトを固定的なセマンティックセクションで構成される構造化オブジェクトとして扱うスキーマベースのプロンプト最適化フレームワークを提案する。 LLaMA-3 8B-Instruct と Mistral-7B-Instruct をソルバモデルとして用いて, ARC-Challenge と MMLU の2つの推論ベンチマークでMPOを評価した。
• 参考スコア（独自算出の注目度）: 0.8604557306886812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prompt quality plays a central role in controlling the behavior, reliability, and reasoning performance of large language models (LLMs), particularly for smaller open-source instruction-tuned models that depend heavily on explicit structure. While recent work has explored automatic prompt optimization using textual gradients and self-refinement, most existing methods treat prompts as monolithic blocks of text, making it difficult to localize errors, preserve critical instructions, or prevent uncontrolled prompt growth. We introduce Modular Prompt Optimization (MPO), a schema-based prompt optimization framework that treats prompts as structured objects composed of fixed semantic sections, including system role, context, task description, constraints, and output format. MPO applies section-local textual gradients, generated by a critic language model, to refine each section independently while keeping the overall prompt schema fixed. Section updates are consolidated through de-duplication to reduce redundancy and interference between components, yielding an interpretable and robust optimization process. We evaluate MPO on two reasoning benchmarks, ARC-Challenge and MMLU, using LLaMA-3 8B-Instruct and Mistral-7B-Instruct as solver models. Across both benchmarks and models, MPO consistently outperforms an untuned structured prompt and the TextGrad baseline, achieving substantial accuracy gains without modifying model parameters or altering prompt structure. These results demonstrate that maintaining a fixed prompt schema while applying localized, section-wise optimization is an effective and practical approach for improving reasoning performance in small open-source LMs.
• Abstract（参考訳）: プロンプトの品質は、大規模言語モデル(LLM)の振る舞い、信頼性、推論性能の制御において中心的な役割を果たす。 最近の研究では、テキスト勾配と自己修正を使って自動的なプロンプト最適化が検討されているが、既存の手法のほとんどは、プロンプトをモノリシックなテキストブロックとして扱うため、エラーのローカライズ、重要な命令の保存、制御不能なプロンプト成長の防止が困難である。 本稿では,システムロール,コンテキスト,タスク記述,制約,出力フォーマットなどを含む固定的なセマンティックセクションから構成される構造化オブジェクトとしてプロンプトを扱うスキーマベースのプロンプト最適化フレームワークMPOを紹介する。 MPOは、批判言語モデルによって生成される部分局所的なテキスト勾配を適用して、全体的なプロンプトスキーマを固定しつつ、各セクションを独立して洗練する。 セクション更新は、コンポーネント間の冗長性と干渉を減らすために重複を減らして統合され、解釈可能で堅牢な最適化プロセスをもたらす。 LLaMA-3 8B-Instruct と Mistral-7B-Instruct をソルバモデルとして用いて, ARC-Challenge と MMLU の2つの推論ベンチマークでMPOを評価した。 ベンチマークとモデルの両方で、MPOは構造化されていないプロンプトとTextGradベースラインを一貫して上回り、モデルパラメータを変更したりプロンプト構造を変更したりすることなく、かなり精度の高いゲインを達成する。 これらの結果から,局所的な部分最適化を適用しながら,固定的なプロンプトスキーマを維持することは,小規模なオープンソースLMにおける推論性能を向上させるための効果的かつ実践的なアプローチであることが示唆された。

関連論文リスト

• Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization [13.8868879878572]
  構造化最適化アプローチでは、改良されたプロンプトを開発するには、自動または半自動の手順が必要である。 現在のプロンプト最適化手法は、しばしばプロンプトドリフトを誘導し、新しいプロンプトが前の障害を修正するが、以前成功したタスクのパフォーマンスを損なう。 本研究では,(1)学習データにおける誤りパターンをターゲットとした動的帰属機構,(2)機能的プロンプトセグメントを編集するための意味単位最適化,(3)エンドツーエンドのLSMとLM-MLLMの両方をサポートするマルチモーダル・フレンドリなプロンプト・プロンプト・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-06T03:34:17Z)
• Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models [18.829572148850563]
  ACE(Agentic Context Engineering)は、コンテキストを進化するプレイブックとして扱うフレームワークである。 エージェントとドメイン固有のベンチマークを通じて、ACEは一貫して強力なベースラインを上回っている。 ACEは、ラベル付けされた監視なしに効果的に適応することができ、代わりに自然な実行フィードバックを活用することができる。
  論文  参考訳（メタデータ） (2025-10-06T09:30:18Z)
• Improving Large Language Models Function Calling and Interpretability via Guided-Structured Templates [56.73907811047611]
  大規模言語モデル(LLM)は強力な推論とツール使用能力を示している。 LLMは、誤ったパラメータ化、悪いツールの選択、ユーザーの意図の誤解釈によって、現実世界のツールインタラクションで失敗することが多い。 我々は、構造化推論テンプレートを利用して、関数呼び出しを生成するためのより故意なステップバイステップ命令を通してLCMをガイドするカリキュラムに着想を得たフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-22T17:55:14Z)
• Reflection-Enhanced Meta-Optimization Integrating TextGrad-style Prompt Optimization with Memory-Driven Self-Evolution [0.0]
  本稿では,メモリ拡張リフレクションRetrievalRAGモジュールと自己適応型メタコントローラを統合するフレームワークを提案する。 REMOは、計算オーバーヘッドの増加にもかかわらず、より安定で堅牢なチューニングを実現する。
  論文  参考訳（メタデータ） (2025-08-26T07:25:45Z)
• REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving [6.19179006129561]
  本稿では,逐次的かつコンテキスト対応な意思決定プロセスとして最適化を定式化する,新しいコンパイルフレームワーク(Dubbed Reasoning)を提案する。 提案手法は,LLM誘導推論がコンパイラ最適化のランドスケープを変革する可能性を示す。
  論文  参考訳（メタデータ） (2025-06-02T07:02:46Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• GReaTer: Gradients over Reasoning Makes Smaller Language Models Strong Prompt Optimizers [52.17222304851524]
  本稿では,タスク固有の推論よりも勾配情報を直接組み込む新しいプロンプト最適化手法であるGReaTerを紹介する。 GReaTerはタスク損失勾配を利用して、オープンソースの軽量言語モデルのためのプロンプトの自己最適化を可能にする。 GReaTerは、従来の最先端のプロンプト最適化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2024-12-12T20:59:43Z)
• SCULPT: Systematic Tuning of Long Prompts [17.00433893207345]
  本稿では,迅速な最適化を階層木改良問題として扱うフレームワークを提案する。 SCULPTはプロンプトをツリー構造として表現し、コンテキスト整合性を維持しながらターゲット変更を可能にする。 より安定し、解釈可能なプロンプト修正を生成し、タスク間のより良い一般化を保証する。
  論文  参考訳（メタデータ） (2024-10-28T07:10:10Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。