論文の概要: Making Prompts First-Class Citizens for Adaptive LLM Pipelines
- arxiv url: http://arxiv.org/abs/2508.05012v1
- Date: Thu, 07 Aug 2025 03:49:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.706773
- Title: Making Prompts First-Class Citizens for Adaptive LLM Pipelines
- Title(参考訳): 適応型LLMパイプラインのための第1級市民の育成
- Authors: Ugur Cetintemel, Shu Chen, Alexander W. Lee, Deepti Raghavan,
- Abstract要約: 当社のビジョンと,迅速な管理ギャップを埋める言語とランタイムであるSPEARの初期設計について説明する。
SPEARは、パイプライン内でプロンプトを構築し、適応する方法を管理するプロンプト代数を定義する。
プロンプト論理を構造化データとして扱うことで、SPEARは演算子融合、プレフィックスキャッシュ、ビュー再利用などの最適化を可能にする。
- 参考スコア(独自算出の注目度): 46.59482681672941
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern LLM pipelines increasingly resemble data-centric systems: they retrieve external context, compose intermediate outputs, validate results, and adapt based on runtime feedback. Yet, the central element guiding this process -- the prompt -- remains a brittle, opaque string, disconnected from the surrounding dataflow. This disconnect limits reuse, optimization, and runtime control. In this paper, we describe our vision and an initial design for SPEAR, a language and runtime that fills this prompt management gap by making prompts structured, adaptive, and first-class components of the execution model. SPEAR enables (1) runtime prompt refinement -- modifying prompts dynamically in response to execution-time signals such as confidence, latency, or missing context; and (2) structured prompt management -- organizing prompt fragments into versioned views with support for introspection and logging. SPEAR defines a prompt algebra that governs how prompts are constructed and adapted within a pipeline. It supports multiple refinement modes (manual, assisted, and automatic), giving developers a balance between control and automation. By treating prompt logic as structured data, SPEAR enables optimizations such as operator fusion, prefix caching, and view reuse. Preliminary experiments quantify the behavior of different refinement modes compared to static prompts and agentic retries, as well as the impact of prompt-level optimizations such as operator fusion.
- Abstract(参考訳): 現代のLLMパイプラインは、外部コンテキストを取得し、中間出力を構成し、結果を検証し、実行時のフィードバックに基づいて適応するなど、データ中心のシステムに近づきつつある。
しかし、このプロセスを導く中心的な要素 -- プロンプト -- は、周りのデータフローから切り離された不安定で不透明な文字列のままである。
この切断は再利用、最適化、実行時の制御を制限する。
本稿では,実行モデルのプロンプトを構造化し,適応し,第1級のコンポーネントにすることで,この迅速な管理ギャップを埋める言語とランタイムであるSPEARのビジョンと初期設計について述べる。
SPEARは、(1) 実行時のプロンプト改善 -- 信頼性、レイテンシ、あるいは不足したコンテキストといった実行時の信号に応答してプロンプトを動的に修正する機能、(2) 構造化されたプロンプト管理 -- イントロスペクションとロギングをサポートすることで、プロンプトをバージョン管理されたビューに整理する機能を備えている。
SPEARは、パイプライン内でプロンプトを構築し、適応する方法を管理するプロンプト代数を定義する。
複数のリファインメントモード(手動、アシスト、自動)をサポートし、開発者はコントロールと自動化のバランスを取ることができる。
プロンプト論理を構造化データとして扱うことで、SPEARは演算子融合、プレフィックスキャッシュ、ビュー再利用などの最適化を可能にする。
予備的な実験は、静的なプロンプトやエージェント的再試行と比較して異なる洗練モードの挙動を定量化し、演算子融合のようなプロンプトレベルの最適化の影響を定量化する。
関連論文リスト
- PARALLELPROMPT: Extracting Parallelism from Large Language Model Queries [16.40921376558516]
本稿では,自然ユーザプロンプトにおけるクエリ内並列性を測定する最初のベンチマークであるPARALLELPROMPTを紹介する。
我々のデータセットは、パブリックなLLMチャットログから37,000以上の実世界のプロンプトで構成されています。
並列戦略とシリアル戦略をベンチマークし、レイテンシ、構造的忠実度、セマンティック忠実度を計測する実行スイートを提供する。
論文 参考訳(メタデータ) (2025-06-23T15:05:54Z) - Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。
既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。
単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文 参考訳(メタデータ) (2025-05-28T14:03:02Z) - SIPDO: Closed-Loop Prompt Optimization via Synthetic Data Feedback [17.851957960438483]
SIPDO(Self-Improving Prompts through Data-Augmented Optimization)は,素早い学習のためのクローズドループフレームワークである。
SIPDOは、合成データジェネレータとプロンプトを結合し、ジェネレータは、現在のプロンプトの弱点を明らかにし、応答時のプロンプトを洗練する新しい例を生成する。
このフィードバック駆動ループは、外部の監視や新しいタスクへのアクセスを前提とせずに、迅速なパフォーマンスの体系的な改善を可能にする。
論文 参考訳(メタデータ) (2025-05-26T04:56:48Z) - Fast Prompt Alignment for Text-to-Image Generation [28.66112701912297]
本稿では,FPA(Fast Prompt Alignment)を提案する。
FPAは単一命令プロンプトのパラフレーズに大規模言語モデル(LLM)を使用し、その後最適化されたプロンプトで微調整やテキスト内学習を行う。
FPAは、処理時間のごく一部で競合するテキスト画像アライメントスコアを達成する。
論文 参考訳(メタデータ) (2024-12-11T18:58:41Z) - Generative Prompt Internalization [48.91617280112579]
本稿では,共同学習手法を用いる軽量な手法であるGenerative Prompt Internalization (GenPI)を提案する。
GenPIは、プロンプト入力でモデルの振る舞いを複製するだけでなく、プロンプトの内容も生成する。
エージェントベースのアプリケーションシナリオにおいて,このアプローチが複雑なプロンプトを効果的に内部化することを示す。
論文 参考訳(メタデータ) (2024-11-24T17:32:20Z) - IPO: Interpretable Prompt Optimization for Vision-Language Models [40.83071220530289]
本稿では,シンプルだが解釈可能なプロンプト(IPO)を紹介する。
IPOは大規模言語モデル(LLM)を使用してテキストプロンプトを動的に生成する。
画像記述を生成することで、視覚的内容の条件付けに大型マルチモーダルモデル(LMM)を組み込む。
論文 参考訳(メタデータ) (2024-10-20T14:10:22Z) - In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。
これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。
本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2024-10-04T03:39:28Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - IDPG: An Instance-Dependent Prompt Generation Method [58.45110542003139]
Prompt tuningは、モデルトレーニング段階で各入力インスタンスにタスク固有のプロンプトを追加する、新しい、効率的なNLP転送学習パラダイムである。
本稿では,各入力インスタンスのプロンプトを生成する条件付きプロンプト生成手法を提案する。
論文 参考訳(メタデータ) (2022-04-09T15:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。