論文の概要: Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization

• arxiv url: http://arxiv.org/abs/2601.02683v1
• Date: Tue, 06 Jan 2026 03:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-07 17:02:12.789516
• Title: Learning from Prompt itself: the Hierarchical Attribution Prompt Optimization
• Title（参考訳）: Promptから学ぶ:階層的属性プロンプト最適化
• Authors: Dongyu Chen, Jian Ma, Xianpeng Zhang, Lei Zhang, Haonan Lu, Chen Chen, Chuangchuang Wang, Kai Tang,
• Abstract要約: 構造化最適化アプローチでは、改良されたプロンプトを開発するには、自動または半自動の手順が必要である。 現在のプロンプト最適化手法は、しばしばプロンプトドリフトを誘導し、新しいプロンプトが前の障害を修正するが、以前成功したタスクのパフォーマンスを損なう。 本研究では,(1)学習データにおける誤りパターンをターゲットとした動的帰属機構,(2)機能的プロンプトセグメントを編集するための意味単位最適化,(3)エンドツーエンドのLSMとLM-MLLMの両方をサポートするマルチモーダル・フレンドリなプロンプト・プロンプト・フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.8868879878572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optimization is fundamental across numerous disciplines, typically following an iterative process of refining an initial solution to enhance performance. This principle is equally critical in prompt engineering, where designing effective prompts for large language models constitutes a complex optimization challenge. A structured optimization approach requires automated or semi-automated procedures to develop improved prompts, thereby reducing manual effort, improving performance, and yielding an interpretable process. However, current prompt optimization methods often induce prompt drift, where new prompts fix prior failures but impair performance on previously successful tasks. Additionally, generating prompts from scratch can compromise interpretability. To address these limitations, this study proposes the Hierarchical Attribution Prompt Optimization (HAPO) framework, which introduces three innovations: (1) a dynamic attribution mechanism targeting error patterns in training data and prompting history, (2) semantic-unit optimization for editing functional prompt segments, and (3) multimodal-friendly progression supporting both end-to-end LLM and LLM-MLLM workflows. Applied in contexts like single/multi-image QA (e.g., OCRV2) and complex task analysis (e.g., BBH), HAPO demonstrates enhanced optimization efficiency, outperforming comparable automated prompt optimization methods and establishing an extensible paradigm for scalable prompt engineering.
• Abstract（参考訳）: 最適化は多くの分野において基本的であり、通常、性能を高めるために初期解を精錬する反復的なプロセスに従っている。 この原理は、大規模な言語モデルに対して効果的なプロンプトを設計することが複雑な最適化課題となるような、プロンプトエンジニアリングにおいて等しく重要である。 構造化最適化アプローチでは、改善されたプロンプトの開発、手作業の削減、パフォーマンスの向上、解釈可能なプロセスの獲得のために、自動または半自動の手順が必要である。 しかし、現在のプロンプト最適化手法は、しばしばプロンプトドリフトを誘導し、新しいプロンプトが前の障害を修正するが、以前成功したタスクのパフォーマンスを損なう。 さらに、スクラッチからプロンプトを生成することで、解釈可能性が損なわれる可能性がある。 これらの制約に対処するために,(1)トレーニングデータにおけるエラーパターンをターゲットとした動的帰属機構,(2)機能的プロンプトセグメントを編集するための意味単位最適化,(3)エンドツーエンドLLMとLM-MLLMワークフローの両方をサポートするマルチモーダル・フレンドリなプロンプトの3つの革新を紹介する階層型属性プロンプト最適化(HAPO)フレームワークを提案する。 単一/マルチイメージのQA(例:OCRV2)や複雑なタスク分析(例:BBH)といったコンテキストに適用されたHAPOは、最適化効率の向上、同等の自動プロンプト最適化手法の性能の向上、スケーラブルなプロンプトエンジニアリングのための拡張可能なパラダイムの確立などを実現している。

関連論文リスト

• P3: Prompts Promote Prompting [26.16464064171255]
  大規模言語モデル(LLM)アプリケーションはシステムとユーザの両方のプロンプトを含む複数のコンポーネントのプロンプトを使用することが多い。 本稿では,システムとユーザの両方のプロンプトを同時に最適化する,新しい自己改善フレームワークであるP3を紹介する。 一般タスクに関する大規模な実験は、P3が自動的なプロンプト最適化の領域で優れた性能を発揮することを示した。
  論文  参考訳（メタデータ） (2025-07-21T14:37:46Z)
• Grammar-Guided Evolutionary Search for Discrete Prompt Optimisation [63.97051732013936]
  本稿では,2段階からなる離散的な自動最適化に対する進化的探索手法を提案する。 第1段階では、文法誘導型遺伝的プログラミングが実行され、プロンプト生成プログラムを合成する。 第2段階では、局所探索を用いて、最高のパフォーマンスプログラムの周辺を探索する。
  論文  参考訳（メタデータ） (2025-07-14T14:34:15Z)
• AMPO: Automatic Multi-Branched Prompt Optimization [43.586044739174646]
  本稿では,障害事例をフィードバックとして多分岐プロンプトを反復的に開発する自動プロンプト最適化手法AMPOを提案する。 5つのタスクにわたる実験では、AMPOが常に最良の結果を達成する。
  論文  参考訳（メタデータ） (2024-10-11T10:34:28Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• PromptWizard: Task-Aware Prompt Optimization Framework [2.618253052454435]
  大規模言語モデル(LLM)は、さまざまなドメインでAIを変換している。 手動プロンプトエンジニアリングは、労働集約的かつドメイン固有である。 本稿では、離散的なプロンプト最適化のための新しい完全に自動化されたフレームワークであるPromptWizardを紹介する。
  論文  参考訳（メタデータ） (2024-05-28T17:08:31Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• SEE: Strategic Exploration and Exploitation for Cohesive In-Context Prompt Optimization [8.975505323004427]
  大規模言語モデル(LLM)のための新しい結合型インコンテキストプロンプト最適化フレームワークを提案する。 SEEは、メタヒューリスティック最適化の原則を採用し、戦略的に探索と活用を行うスケーラブルで効率的なプロンプト最適化フレームワークである。 SEEは最先端のベースライン法を大幅に上回り、平均性能は13.94、計算コストは58.67である。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。