論文の概要: From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems

• arxiv url: http://arxiv.org/abs/2608.15127v1
• Date: Sat, 15 Aug 2026 09:02:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.204917
• Title: From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
• Title（参考訳）: LLM推論からエージェントワークロードへ:実行システムの特徴と意味
• Abstract要約: エージェントアプリケーションは、独立したモデル推論からLLMがツール、環境、永続的な状態を調整する長時間実行されるワークロードにAIを移行している。 AgentSysBenchは10の代表的なエージェントアプリケーションと統一されたシステムレベルのインスツルメンテーションを備えたベンチマークスイートと測定ツールキットである。
• 参考スコア（独自算出の注目度）: 14.6340263288784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic applications are shifting AI serving from isolated model inference to long-running workloads in which LLMs coordinate tools, environments, and persistent state. However, the system behavior of these workloads---where latency, cost, and bottlenecks arise---remains poorly characterized, leaving serving systems to rely on assumptions built for conventional inference. We present AgentSysBench, a benchmark suite and measurement toolkit with ten representative agentic applications and unified systems-level instrumentation. Across controlled deployments and production traces, we identify six properties that distinguish agentic workloads from conventional LLM serving: (1) execution is heavyweight and stateful, with non-LLM components dominating latency in 5 of 10 applications and sandbox working-set memory peaking at 28 GB per session; (2) applications compose components with heterogeneous resource affinity---GPU-bound inference, memory-bound retrieval, CPU-bound sandboxes---whose task latencies diverge by up to 32x; (3) bottlenecks shift across requests, models, and deployments; (4) production sessions hold state idle for minutes to hours between active steps; (5) a control-plane tax---auxiliary LLM calls and context overhead from tool schemas and observations---crowds out productive compute and context; and (6) production traces from three applications reveal heavy cross-request redundancy in search queries and web fetches, exposing a large caching opportunity. Four design explorations demonstrate that these findings are actionable: task-aware serving reduces latency by 29--40%, communication-aware placement by up to 4.5x, state offloading reduces memory usage by 4.6x, and tool-result caching removes 35.2% of redundant search calls and saves 19.3% of aggregate search latency.
• Abstract（参考訳）: エージェントアプリケーションは、独立したモデル推論からLLMがツール、環境、永続的な状態を調整する長時間実行されるワークロードにAIを移行している。 しかしながら、これらのワークロードのシステム動作 - レイテンシ、コスト、ボトルネックが生じる – は、特性が貧弱なままであり、サービスシステムは従来の推論に構築された仮定に頼らざるを得ない。 AgentSysBenchは10の代表的なエージェントアプリケーションと統一されたシステムレベルのインスツルメンテーションを備えたベンチマークスイートと測定ツールキットである。 コントロールされたデプロイメントとプロダクショントレース全体にわたって、エージェントワークロードを区別する6つのプロパティを識別する。 1) 実行は重厚でステートフルで、10のアプリケーションのうち5つの非LLMコンポーネントでレイテンシが支配され、セッション当たり28GBでサンドボックスのワーキングセットメモリがピークに達している。 2) アプリケーションは、異種リソース親和性を持つコンポーネントを構成する:-GPUバウンド推論、メモリバウンド検索、CPUバウンドサンドボックス---タスク遅延は最大32倍に分散する。 タスク認識機能によってレイテンシが29-40%削減され、通信認識の配置が4.5倍、状態オフロードによってメモリ使用量が4.6倍減少し、ツール-Resultキャッシュでは冗長な検索コールの35.2%が削除され、総検索レイテンシの19.3%が削減された。

関連論文リスト

• AgentR A Stateful and Recovery-Aware Software Architecture for LLM-based Auditable Workflows [14.042464830509864]
  AgentRは、研究意図、生成されたクエリ、候補論文の評価、ギャップ分析を耐久性のあるワークフローアーティファクトとして表現する。 設計には、明示的な処理状態遷移、指数的バックオフによるリトライ、クレジット対応の事前チェック、ACIDトークンコストのログ、価格レコードの徐々に変化するType-2が含まれている。 LLMの段階では、99.2%のジョブ完了を達成し、意図分解、クエリ生成、および紙スコアのための平均遅延は9.0秒、18.9秒25.4秒である。
  論文  参考訳（メタデータ） (2026-08-15T14:51:43Z)
• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues [80.29362825271768]
  LongMemEval-V2は、メモリシステムが、カスタマイズされた環境で知識のある同僚になるために必要な経験を得るのに役立つかどうかを評価するためのベンチマークである。 LME-V2には、Webエージェントの5つのコアメモリ能力をカバーする451の質問が含まれている。 AgentRunbook-Rは生の状態観察,イベント,戦略ノートのための知識プールを備えた,効率的なRAGベースのメモリであり,AgentRunbook-Cはトラジェクトリをファイルとして格納し,コードエージェントを起動して,拡張サンドボックスに証拠を収集する。
  論文  参考訳（メタデータ） (2026-05-12T17:59:34Z)
• SAGA: Workflow-Atomic Scheduling for AI Agent Inference on GPU Clusters [13.891522069967507]
  本稿では,複合AIワークロードのプログラムレベルスケジューリングへのシフトを提案する。 本稿では,この抽象化を実現する分散スケジューラSAGAを提案する。
  論文  参考訳（メタデータ） (2026-05-01T09:05:28Z)
• MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
  大きな言語モデル(LLM)は、長期化タスクにますます使われています。 現在の手法はコストと精度のトレードオフに直面している。 MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T02:57:38Z)
• AgentCgroup: Understanding and Controlling OS Resources of AI Agents [2.8139711959925244]
  AIエージェントは、サンドボックスコンテナ内でさまざまなツールコールを実行するマルチテナントクラウド環境にますますデプロイされている。 サンドボックス型AI符号化エージェントにおけるOSレベルの資源動態の系統的特徴について述べる。 予備評価は, マルチテナント分離の改善と資源廃棄物の削減を実証する。
  論文  参考訳（メタデータ） (2026-02-10T02:37:42Z)
• Harli: SLO-Aware Co-location of LLM Inference and PEFT-based Finetuning on Model-as-a-Service Platforms [33.64527903547734]
  Harliは、(最先端のサービスシステムまで)平均46.2%の微調整スループットを向上する Harliは、(最先端のサービスシステムまで)平均46.2%の微調整スループットを向上する
  論文  参考訳（メタデータ） (2025-11-13T05:58:52Z)
• Scalable Engine and the Performance of Different LLM Models in a SLURM based HPC architecture [3.746889836344766]
  本研究は、SLURM(Simple Linux Utility for Resource Management)に基づく高性能コンピューティングアーキテクチャについて詳述する。 動的リソーススケジューリングとコンテナ化のシームレスな統合は、CPU、GPU、メモリをマルチノードクラスタで効率的に管理するために活用されている。 その結果,大規模HPCインフラストラクチャ上でのLLM推論は,より効率的で応答性が高く,耐故障性に優れた。
  論文  参考訳（メタデータ） (2025-08-25T09:11:27Z)
• MEM1: Learning to Synergize Memory and Reasoning for Efficient Long-Horizon Agents [84.62985963113245]
  我々は,長時間のマルチターンタスクに対して,エージェントが一定のメモリで動作可能な,エンドツーエンドの強化学習フレームワークMEM1を紹介する。 各ターンでMEM1は、メモリ統合と推論を共同でサポートするコンパクトな共有内部状態を更新する。 その結果,MEM1-7Bは16目的のマルチホップQAタスクにおいて,Qwen2.5-14B-Instructと比較してメモリ使用量を3.7倍削減し,3.5倍の性能向上を示す。
  論文  参考訳（メタデータ） (2025-06-18T19:44:46Z)
• ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
  ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。 我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T04:12:13Z)
• Fast Distributed Inference Serving for Large Language Models [12.703624317418237]
  大規模言語モデル(LLM)のための分散推論サービスシステムであるFastServeについて述べる。 FastServeはLLM推論の自己回帰パターンを利用して、各出力トークンの粒度のプリエンプションを可能にする。 我々は,FastServeのシステムプロトタイプを構築し,最先端のソリューションであるvLLMと比較して,同じ平均および末尾遅延条件下でのスループットを最大31.4xと17.9xに改善したことを示す。
  論文  参考訳（メタデータ） (2023-05-10T06:17:50Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。