論文の概要: Substrate-Portable Execution for Production LLM Workflows
- arxiv url: http://arxiv.org/abs/2609.06128v1
- Date: Sat, 05 Sep 2026 14:52:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.207317
- Title: Substrate-Portable Execution for Production LLM Workflows
- Title（参考訳）: 生産LLMワークフローのための基板可搬型実行
- Abstract要約: 実行セマンティクスは、しばしば1つのランタイムに結合される。
Rufusはリアルタイムサービス、非同期バックグラウンドタスク、高ボリュームバッチワークロードをサポートする。
本稿では,ワークフロー定義を実行基盤から分離するバインディング適応型エージェント実行プラットフォームを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Production LLM agents execute tool-calling loops, retrieval chains, and compositional workflows in multiple modes, yet execution semantics are often coupled to one runtime. We encountered this portability problem in Rufus, a conversational AI assistant with a large tool catalog that serves millions of Amazon customers. Rufus supports real-time serving, asynchronous background tasks, and high-volume batch workloads such as evaluation and content pregeneration. Each mode has distinct service-level objectives and typically uses a separate runtime. Reusing streaming orchestration makes asynchronous and batch workloads blocking and prevents use of batch inference APIs, which offer a 50 percent discount at published prices. We present a binding-adaptive agent execution platform that separates workflow definition from execution substrate. Developers define a workflow once as a typed dataflow graph. The platform compiles the graph to in-process streaming for real-time serving, durable AWS SWF orchestration for asynchronous execution, or distributed Apache Flink stream processing for batch inference. No workflow code changes are required. LLM inference is represented as a suspendable graph node whose behavior depends on the substrate: streaming delivery online, durable retry asynchronously, and batched submission offline. We validated dozens of production agent configurations across five orchestration patterns: single-inference RAG, iterative ReAct, compositional PreAct, conditional routing, and multi-agent deep research. Across all three bindings, we found no detectable difference in output quality. Batch execution reduced per-query inference cost in line with published batch API pricing while operating alongside the streaming path at production scale.
- Abstract（参考訳）: プロダクションLLMエージェントは、ツールコールループ、検索チェーン、コンポジションワークフローを複数のモードで実行するが、実行セマンティクスは1つのランタイムに結合されることが多い。
大規模なツールカタログを備えた対話型AIアシスタントで、数百万のAmazon顧客にサービスを提供するRufusでは、このポータビリティの問題に遭遇しました。
Rufusはリアルタイムサービス、非同期バックグラウンドタスク、評価やコンテンツの事前生成といった大量のバッチワークロードをサポートする。
各モードは異なるサービスレベルの目的を持ち、通常、別々のランタイムを使用する。
ストリーミングオーケストレーションの再利用により、非同期およびバッチワークロードがブロックされ、バッチ推論APIの使用が防止される。
本稿では,ワークフロー定義を実行基盤から分離するバインディング適応型エージェント実行プラットフォームを提案する。
開発者はワークフローを型付きデータフローグラフとして定義する。
プラットフォームは、リアルタイムサービスのためにグラフをプロセス内ストリーミングにコンパイルし、非同期実行のための耐久性のあるAWS SWFオーケストレーション、バッチ推論のためのApache Flinkストリーム処理を分散する。
ワークフローコードの変更は必要ありません。
LLM推論は、サスペンタブルなグラフノードとして表現され、その振る舞いは、オンライン配信、耐久性のある再試行、オフラインでのバッチ処理である。
我々は、単一推論RAG、反復ReAct、合成PreAct、条件付きルーティング、マルチエージェントディープリサーチという、5つのオーケストレーションパターンにまたがる数十のプロダクションエージェント構成を検証した。
3つのバインディング全体で、出力品質に検出可能な差は見つからなかった。
バッチ実行は、プロダクションスケールのストリーミングパスと並行して運用しながら、公開されているバッチAPIの価格に合わせて、クエリごとの推論コストを削減した。
関連論文リスト
- Decoupling Readiness from Release for Tail-Aware Scheduling of Agentic LLM Workflows [25.368121854431035]
テールリスク対応のターンリリーススケジューリング手法では、次にどのターンをリリースするかを共同で決定する。
そこで本研究では,次回リリース予定のターンを共同で決定する,テールリスク対応ターンリリーススケジューリング手法を提案する。
論文 参考訳（メタデータ） (2026-09-10T01:35:10Z) - FRAMEWORKERS: A Dynamic Multi-Agent Framework for AI-Generated Video Production [55.71860113185132]
本稿では,タスク中心のマルチエージェントフレームワークであるFRAMEWORKERSを紹介した。
Central Directorは、ビデオ生成を動的タスク管理として定式化し、タスクスタックを継続的に編集して、次にどのサブタスクを実行するか、どのサブエージェントを呼び出すかを決定する。
アシスタントは実行層として機能し、選択した各タスクを共有ワークスペースに接地し、必要なアセットとコンテキストを検索し、割り当てられたサブエージェントを呼び出し、結果のアーティファクトを永続化する。
FRAMEWORKERSは、ルーティング精度において強いプランナーよりも優れ、実行時の障害から確実に回復し、目に見えないサブに一般化することを示した。
論文 参考訳（メタデータ） (2026-08-30T14:28:50Z) - AiFlow: Token-Native Reactive Orchestration with Bounded Backpressure for Streaming LLM Applications [0.0]
本稿では,プロバイダデルタを型付きContextT>イベントに正規化する,トークンネイティブなリアクティブオーケストレーションモデルであるAiFlowを提案する。
AiFlowはプロバイダ側のTTFTを変更しないが、アプリケーションTTFPTを70.9-94.7%削減し、宣言されたバウンダリ内でランタイム所有キューの深さを維持する。
論文 参考訳（メタデータ） (2026-08-01T09:33:29Z) - A Readiness-Driven Runtime for Pipeline-Parallel Training under Runtime Variability [12.676135710714812]
パイプラインは大規模なモデルのトレーニングをスケールするための重要なテクニックだが、現代的なワークロードでは、計算と通信におけるランタイムの多様性が示される。
実行時並列トレーニングであるRRFP(Readiness-First Pipeline)を紹介します。
R RFPはスケジュールが実行時にどのように消費されるかを変える: スケジュールをステージが続くのを待つシーケンスとして扱う代わりに、現在準備されている作業の非バインディングヒント順序として扱う。
論文 参考訳（メタデータ） (2026-05-18T17:59:18Z) - Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines [0.7551404527457958]
任意のマルチLLMエージェントをGPUクラスタに効率的にスケジュールする新しいエージェントサービスシステムについて述べる。
Scepsyは、LLMを独立して最適化するシステムと比較して、最大2.4倍のスループットと27倍のレイテンシを実現している。
論文 参考訳（メタデータ） (2026-04-16T16:15:29Z) - Orla: A Library for Serving LLM-Based Multi-Agent Systems [13.749935259370737]
LLMベースのエージェントシステムの構築と実行のためのライブラリであるOrlaを紹介する。
Orlaは、ワークフローレベルのポリシーから要求実行を分離する一般的な抽象化を提供する。
我々はOrlaを2つのデータセットで評価し、ステージマッピングが単一モデルvLLMベースラインと比較してレイテンシとコストを改善することを示した。
論文 参考訳（メタデータ） (2026-03-13T21:25:29Z) - Learning to Compose for Cross-domain Agentic Workflow Generation [56.630382886594184]
クロスドメインワークフロー生成のためのオープンソースのLLMを作成します。
さまざまなドメインにわたる再利用可能なワークフロー機能のコンパクトなセットを学びます。
当社の1パスジェネレータは、20イテレーションを消費するSOTAリファインメントベースラインを超えています。
論文 参考訳（メタデータ） (2026-02-11T18:27:22Z) - FlowSteer: Interactive Agentic Workflow Orchestration via End-to-End Reinforcement Learning [49.369614288007334]
FlowSteerは、エージェントと実行可能なキャンバス環境として軽量なポリシーモデルを採用する、エンドツーエンドの強化学習フレームワークである。
FlowSteerは様々なタスクでベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2026-02-02T05:30:42Z) - Accelerating Language Model Workflows with Prompt Choreography [15.03063157222079]
本稿では,動的でグローバルなKVキャッシュを維持することにより,LLMを効率的に実行するためのフレームワークであるPrompt Choreographyを紹介する。
各LSMコールは、以前エンコードされたメッセージの任意の順序で順序付けされたサブセットに対応することができる。
Prompt Choreographyはメッセージ単位のレイテンシを大幅に削減する。
論文 参考訳（メタデータ） (2025-12-28T19:21:11Z) - DyFlow: Dynamic Workflow Framework for Agentic Reasoning [79.19799197382478]
DyFlowは動的ワークフロー生成フレームワークで、タスク要求とリアルタイム中間フィードバックに基づいて推論手順を適応的に構築し、調整する。
社会的推論,生物医学的タスク,数学的問題解決,コード生成など,さまざまな領域でDyFlowを体系的に評価する。
結果は、DyFlowが既存のベースラインを大幅に上回り、Pass@kの改善を実現し、さまざまなドメインにわたって堅牢な一般化を示すことを示した。
論文 参考訳（メタデータ） (2025-09-30T10:36:23Z) - WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。
最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。
LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
論文 参考訳（メタデータ） (2024-11-08T09:58:02Z) - Benchmarking Agentic Workflow Generation [80.74757493266057]
複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。
また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。
我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
論文 参考訳（メタデータ） (2024-10-10T12:41:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。