論文の概要: Orla: A Library for Serving LLM-Based Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2603.13605v1
• Date: Fri, 13 Mar 2026 21:25:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.292811
• Title: Orla: A Library for Serving LLM-Based Multi-Agent Systems
• Title（参考訳）: Orla: LLMベースのマルチエージェントシステムを実現するライブラリ
• Authors: Rana Shahout, Hayder Tirmazi, Minlan Yu, Michael Mitzenmacher,
• Abstract要約: LLMベースのエージェントシステムの構築と実行のためのライブラリであるOrlaを紹介する。 Orlaは、ワークフローレベルのポリシーから要求実行を分離する一般的な抽象化を提供する。 我々はOrlaを2つのデータセットで評価し、ステージマッピングが単一モデルvLLMベースラインと比較してレイテンシとコストを改善することを示した。
• 参考スコア（独自算出の注目度）: 13.749935259370737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce Orla, a library for constructing and running LLM-based agentic systems. Modern agentic applications consist of workflows that combine multiple LLM inference steps, tool calls, and heterogeneous infrastructure. Today, developers typically build these systems by manually composing orchestration code with LLM serving engines and tool execution logic. Orla provides a general abstraction that separates request execution from workflow-level policy. It acts as a serving layer above existing LLM inference engines: developers define workflows composed of stages, while Orla manages how those stages are mapped, executed, and coordinated across models and backends. It provides agent-level control through three mechanisms: a stage mapper, which assigns each stage to an appropriate model and backend; a workflow orchestrator, which schedules stages and manages their resources and context; and a memory manager, which manages inference state such as the KV cache across workflow boundaries. We demonstrate Orla with a customer support workflow that exercises many of its capabilities. We evaluate Orla on two datasets, showing that stage mapping improves latency and cost compared to a single-model vLLM baseline, while workflow-level cache management reduces time-to-first-token.
• Abstract（参考訳）: LLMベースのエージェントシステムの構築と実行のためのライブラリであるOrlaを紹介する。 現代のエージェントアプリケーションは、複数のLCM推論ステップ、ツールコール、異種インフラストラクチャを組み合わせたワークフローで構成されている。 今日では、開発者は、手動でオーケストレーションコードをLLMサービスエンジンとツール実行ロジックで構成することで、これらのシステムを構築している。 Orlaは、ワークフローレベルのポリシーから要求実行を分離する一般的な抽象化を提供する。 開発者はステージで構成されたワークフローを定義し、Orlaはそれらのステージのマッピング、実行、モデルとバックエンド間のコーディネートを管理する。 各ステージを適切なモデルとバックエンドに割り当てるステージマッパー、ステージをスケジュールし、リソースとコンテキストを管理するワークフローオーケストレータ、ワークフロー境界を越えてKVキャッシュなどの推論状態を管理するメモリマネージャの3つのメカニズムを通じてエージェントレベルのコントロールを提供する。 私たちはOrlaを、多くの機能を実行するカスタマーサポートワークフローでデモしています。 我々はOrlaを2つのデータセットで評価し、ステージマッピングは単一モデルvLLMベースラインに比べてレイテンシとコストが向上する一方、ワークフローレベルのキャッシュ管理は第1段階までの時間を削減することを示した。

関連論文リスト

• A Declarative Language for Building And Orchestrating LLM-Powered Agent Workflows [0.0]
  本稿では,エージェントワークフロー仕様と実装を分離する宣言型システムを提案する。 これらの結果から,開発時間の60%削減,デプロイメント速度の3倍の改善が見られた。 製品検索やパーソナライズ,カート管理といった複雑な処理は,500行以上の命令型コードと比較して,50行未満のDSLで表現可能であることを示す。
  論文  参考訳（メタデータ） (2025-12-22T05:03:37Z)
• Opus: A Prompt Intention Framework for Complex Workflow Generation [0.0]
  Opus Prompt Intention Frameworkは命令調整型大言語モデル(LLM)による複雑な生成を改善するように設計されている ユーザクエリから信号や意図を抽出する,カスタマイズ可能な意図キャプチャシステムを提案する。 提案システムでは,ユーザクエリからの直接生成と比較して,生成品質が著しく向上することを示す実証的証拠を提供する。
  論文  参考訳（メタデータ） (2025-07-15T13:13:07Z)
• WorkflowLLM: Enhancing Workflow Orchestration Capability of Large Language Models [105.46456444315693]
  ワークフローオーケストレーションにおける大規模言語モデルの能力を高めるための,データ中心のフレームワークであるLLMを提案する。 最初は106,763のサンプルで大規模な微調整Benchを構築し、28のカテゴリにわたる83のアプリケーションから1,503のAPIをカバーしている。 LlamaLlamaは複雑なAPIをオーケストレーションする能力を示しながら、優れた一般化性能を実現している。
  論文  参考訳（メタデータ） (2024-11-08T09:58:02Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• Teola: Towards End-to-End Optimization of LLM-based Applications [13.478509565946354]
  大規模言語モデル(LLM)ベースのアプリケーションは、エンドツーエンドのレイテンシに寄与する。 既存のフレームワークでは,タスクモジュールによる粗粒度のオーケストレーションが採用されている。 タスクプリミティブを基本単位として,各クエリのワークフローをプリミティブレベルのデータフローグラフとして表現する,詳細なエンドツーエンドオーケストレーションを提案する。
  論文  参考訳（メタデータ） (2024-06-29T05:59:53Z)
• Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
  大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。 本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。 このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
  論文  参考訳（メタデータ） (2024-01-14T16:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。