論文の概要: Adaptive Dependency-aware Prompt Optimization Framework for Multi-Step LLM Pipeline

• arxiv url: http://arxiv.org/abs/2512.24933v1
• Date: Wed, 31 Dec 2025 15:46:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.69418
• Title: Adaptive Dependency-aware Prompt Optimization Framework for Multi-Step LLM Pipeline
• Title（参考訳）: 多段LLMパイプラインの適応依存性を考慮したプロンプト最適化フレームワーク
• Authors: Minjun Zhao, Xinyu Zhang, Shuai Zhang, Deyang Li, Ruifeng Shi,
• Abstract要約: 我々は,多段階LLMパイプラインのための適応依存型プロンプト最適化フレームワークであるADOPTを提案する。 ADOPTは、各LCMステップと最終タスク結果の依存関係を明示的にモデル化し、正確なテキスト勾配推定を可能にする。 実世界のデータセットと多様なパイプライン構造の実験は、ADOPTが効果的で堅牢であることを示している。
• 参考スコア（独自算出の注目度）: 9.013236765328301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-step LLM pipelines invoke large language models multiple times in a structured sequence and can effectively solve complex tasks, but their performance heavily depends on the prompts used at each step. Jointly optimizing these prompts is difficult due to missing step-level supervision and inter-step dependencies. Existing end-to-end prompt optimization methods struggle under these conditions and often yield suboptimal or unstable updates. We propose ADOPT, an Adaptive Dependency-aware Prompt Optimization framework for multi-step LLM pipelines. ADOPT explicitly models the dependency between each LLM step and the final task outcome, enabling precise text-gradient estimation analogous to computing analytical derivatives. It decouples textual gradient estimation from gradient updates, reducing multi-prompt optimization to flexible single-prompt optimization steps, and employs a Shapley-based mechanism to adaptively allocate optimization resources. Experiments on real-world datasets and diverse pipeline structures show that ADOPT is effective and robust, consistently outperforming state-of-the-art prompt optimization baselines.
• Abstract（参考訳）: マルチステップLLMパイプラインは、構造化シーケンスで複数回大きな言語モデルを実行し、複雑なタスクを効果的に解決するが、その性能は各ステップで使用されるプロンプトに大きく依存する。 ステップレベルの監督とステップ間の依存関係が欠けているため、これらのプロンプトを共同で最適化することは難しい。 既存のエンドツーエンドのプロンプト最適化手法はこれらの条件下では困難であり、しばしば準最適または不安定な更新をもたらす。 我々は,多段階LLMパイプラインのための適応依存型プロンプト最適化フレームワークであるADOPTを提案する。 ADOPTは、各LCMステップと最終タスク結果の依存関係を明示的にモデル化し、解析微分計算に類似した正確なテキスト勾配推定を可能にする。 勾配更新からテキストの勾配推定を分離し、マルチプロンプト最適化をフレキシブルな単一プロンプト最適化ステップに削減し、最適化リソースを適応的に割り当てるためにShapleyベースのメカニズムを使用する。 実世界のデータセットと多様なパイプライン構造の実験は、ADOPTが効率的で堅牢であり、一貫して最先端のプロンプト最適化ベースラインを上回っていることを示している。

関連論文リスト

• SOCRATES: Simulation Optimization with Correlated Replicas and Adaptive Trajectory Evaluations [25.18297372152296]
  SOCRATESは、調整されたSOアルゴリズムの設計を自動化する新しい2段階のプロシージャである。 実システムのデジタルレプリカのアンサンブルは、ベースラインSOアルゴリズムのセットを評価するテストベッドとして使用される。 LLMはメタ最適化器として機能し、これらのアルゴリズムのパフォーマンストラジェクトリを分析して、最終的なハイブリッド最適化スケジュールを反復的に修正し構成する。
  論文  参考訳（メタデータ） (2025-11-01T19:57:38Z)
• Optimization-Inspired Few-Shot Adaptation for Large Language Models [25.439708260502556]
  LLM(Large Language Models)は、現実世界のアプリケーションで顕著な性能を示している。 LLMを微調整によって新しいタスクに適応させるには、数ショットのシナリオでは実行不可能な、実質的なトレーニングデータと計算資源が必要となることが多い。 既存のアプローチ、例えば、コンテキスト内学習や。 PEFT(Efficient Fine-Tuning)は、重要な制限に直面している。
  論文  参考訳（メタデータ） (2025-05-25T11:54:23Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
  機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。 実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• LLM as a Complementary Optimizer to Gradient Descent: A Case Study in Prompt Tuning [69.95292905263393]
  グラデーションベースとハイレベルなLLMは、協調最適化フレームワークを効果的に組み合わせることができることを示す。 本稿では,これらを相互に補完し,組み合わせた最適化フレームワークを効果的に連携させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-30T06:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。