論文の概要: Stateful Inference for Low-Latency Multi-Agent Tool Calling

• arxiv url: http://arxiv.org/abs/2605.26289v1
• Date: Mon, 25 May 2026 19:27:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.382817
• Title: Stateful Inference for Low-Latency Multi-Agent Tool Calling
• Title（参考訳）: 低レイテンシマルチエージェントツールコールのためのステートフル推論
• Abstract要約: LLMベースのシステムでは,マルチエージェント・ツール・コールが主要なインタラクション・パターンになりつつある。 本稿では,従来のサービスにおける$O(n_t)=ターン当たりのコストを$O(_t)$デルタのみのコストに変換する,ステートフルな推論アーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent tool calling is becoming the dominant interaction pattern for LLM-based systems, yet existing inference frameworks treat each tool call as an independent request, re-processing the entire conversation from scratch even though 85-95% of the prompt is unchanged from the previous turn. We present a stateful inference architecture that converts the $O(n_t)$ per-turn cost of conventional serving into an $O(Δ_t)$ delta-only cost: a persistent KV cache lives across turns and advances by ingesting only the new tokens, while a radix prefix cache extends this across interleaved multi-agent traffic and a prompt-lookup speculative decoder accelerates structured output. Against vLLM and SGLang on novel, fully-generated workloads, the reference implementation is $2.1\times$ faster per turn on a 6-turn agentic workflow and $4.2\times$ on the median turn of a 35-turn one, halving end-to-end wall time. The advantage comes from stateful reuse and speculation, not caching.
• Abstract（参考訳）: LLMベースのシステムでは,マルチエージェントツールコールが主要なインタラクションパターンになりつつあるが,既存の推論フレームワークでは各ツールコールを独立した要求として扱い,85～95%のプロンプトが前回と変わらないにも関わらず,会話全体をスクラッチから再処理している。 我々は,従来のサービスである$O(n_t)$ per-turnコストを$O(Δ_t)$ delta-onlyコストに変換するステートフル推論アーキテクチャを提案する。 vLLMとSGLangが完全に生成された新しいワークロードに対して、リファレンス実装は、6ターンのエージェントワークフローを1ターンあたり2.1\times$で、35ターンの中央のターンで4.2\times$で、エンドツーエンドの壁時間を半減する。 利点は、キャッシュではなく、ステートフルな再利用と憶測にある。

関連論文リスト

• Pallas: A Proactive KV Cache Migration Framework for LLM Inference in AI-RAN [21.236017031644963]
  PallasはKV-cacheマイグレーションフレームワークで、ハンドオーバ前に予測されたターゲットの推論状態を準備する。 我々のvLLMベースのプロトタイプは、目標側回復アプローチよりも平均SITを2.28$-89.68$で減らし、ソース側フォワードと比較して平均ITLを16.0%--50.0%で減らした。
  論文  参考訳（メタデータ） (2026-08-17T12:16:09Z)
• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale [6.287658270510339]
  GitHub Copilot、Claude Code、CodexといったAIコーディングエージェントは、ツール実行によるマルチステップLLM推論をインターリーブする。 私たちは2026年6月のGitHub Copilotトレースをサンプルとして,このワークロードを初めて実運用規模で評価した。
  論文  参考訳（メタデータ） (2026-07-30T20:51:51Z)
• Native Active Perception as Reasoning for Omni-Modal Understanding [96.19360756363501]
  我々は,OmniAgentをPOMDPに基づく反復的観察-判断サイクルとして定式化するために提案する。 OmniAgentはオンデマンドアクションを実行し、音声視覚キューを永続的なテキストメモリに選択的に蒸留する。 我々は,OmniAgentがオープンソースモデル間の最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-17T17:59:56Z)
• VisualClaw: A Real-Time, Personalized Agent for the Physical World [76.89211120690028]
  2つの原則に基づいて構築された自己進化型マルチモーダルエージェントであるVisualClawを紹介する。 第一に、ハイブリッド符号化は、情報の少ないストリーミングフレームをカスケードゲートでフィルタリングすることにより、デプロイメントコストを低減する。 第二に、スキルの進化により、エージェントは失敗から学び、将来の質問に役立つスキルバンク更新を生成する。
  論文  参考訳（メタデータ） (2026-06-15T06:58:22Z)
• ConCise: Training-Free Conclusion-Chain State Compression for Cost-Efficient Multi-Step RAG Services [11.399162464271692]
  多段階検索強化世代 (RAG) は, 複雑な質問応答のための LLM 対応 Web サービスとして広く利用されている。 RAGは、履歴文書と推論トレースをラウンド全体で蓄積し、累積的な入力トークンを膨らませる。 本稿では,クロスラウンド・コンテキスト・トランスミッションを再構成するトレーニング不要な状態層プロトコルであるConCiseを提案する。
  論文  参考訳（メタデータ） (2026-06-13T08:10:53Z)
• Zero-Copy Semantic Contagion: An In-Memory Streaming Architecture for Evolving Attention Graphs [0.0]
  テキストから直接駆動される連続時間グラフとして,企業間の関心をマップするRust-Pythonストリーミングアーキテクチャを導入する。 摂取側では、ゼロコピーのRustエッジがニュースレコードを$sim$100 nsで解析し、ターゲットのエクイティ宇宙を$sim$1.2 $sでスキャンする。 1つのコモディティCPU上で、入ってくるニュースレコードあたり13msのエンドツーエンド処理レイテンシを実証する。
  論文  参考訳（メタデータ） (2026-06-04T05:48:56Z)
• Scaling Self-Evolving Agents via Parametric Memory [69.96398842169002]
  既存のメモリ拡張LDMエージェントは、過去の経験をプロンプト空間にのみ保存する。 自己進化型パラメトリックメモリフレームワークである textttTMEM を導入する。 textttTMEMは、様々なモデルスケールで要約ベースのベースラインと検索ベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-06-03T07:18:31Z)
• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• Dual-Pool Token-Budget Routing for Cost-Efficient and Reliable LLM Serving [9.457255218406333]
  プロダクションvLLMフリートは通常、最悪のコンテキスト長に対して各インスタンスをプロビジョニングする。 実際には、80-95%のリクエストは短いが、長いコンテキストに最適化された設定の下で提供される。 本稿では,同種艦隊を2つの専用プールに分割する軽量ディスパッチ機構であるデュアルプールトークン予算ルーティングを提案する。
  論文  参考訳（メタデータ） (2026-04-09T10:47:20Z)
• Agentic Compilation: Mitigating the LLM Rerun Crisis for Minimized-Inference-Cost Web Automation [0.0]
  Rerun Crisis: トークン支出の線形成長と,実行頻度に対するAPI遅延を特徴付ける。 ブラウザ実行から推論を分離するCompile-and-Executeアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-04-08T14:22:37Z)
• Large Language Models as Optimization Controllers: Adaptive Continuation for SIMP Topology Optimization [4.365822392824561]
  本稿では,SIMP最適化のためのオンラインコントローラとして,大規模言語モデルが機能するフレームワークを提案する。 ハードグレーネスゲートは未熟なバイナライゼーションを防止し、メタ最適化ループは第2パスを使用してエージェントの呼び出し周波数を調整する。 エージェントはすべてのベンチマークの最終的なコンプライアンスを達成する:$5.7%$から$-1%、すべてのソリューションが完全にバイナリである。
  論文  参考訳（メタデータ） (2026-03-26T07:14:31Z)
• Beyond Max Tokens: Stealthy Resource Amplification via Tool Calling Chains in LLM Agents [31.789859492703016]
  エージェント・ツール通信ループは、Large Language Model (LLM)エージェントにおけるクリティカルアタックサーフェスである。 既存のDoS(DoS)攻撃は、この新しいパラダイムには効果がない。 正常に完了したタスクのヒントのもと、ツール層で機能するステルスで多ターンの経済DoS攻撃を導入する。
  論文  参考訳（メタデータ） (2026-01-16T02:47:45Z)
• QuickSilver -- Speeding up LLM Inference through Dynamic Token Halting, KV Skipping, Contextual Token Fusion, and Adaptive Matryoshka Quantization [7.188043811595143]
  推論は、大きな言語モデルにおける遅延とエネルギー消費の大部分を占める。 QuickSilverはモジュール型のトークンレベルのフレームワークで、モデルウェイトや構造を変更することなく、推論時のセマンティックアダプティビティを実現する。
  論文  参考訳（メタデータ） (2025-06-27T17:10:32Z)
• DASA: Delay-Adaptive Multi-Agent Stochastic Approximation [64.32538247395627]
  我々は,N$エージェントが並列に動作し,中央サーバと通信することで,一般的な近似問題を高速化することを目的とした設定を考える。 遅延とストラグラーの効果を軽減するために,マルチエージェント近似のための遅延適応アルゴリズムである textttDASA を提案する。
  論文  参考訳（メタデータ） (2024-03-25T22:49:56Z)
• HiRE: High Recall Approximate Top-$k$ Estimation for Efficient LLM Inference [68.59839755875252]
  HiREは2つの新しいコンポーネントから構成される: (i) (i) (i) (i) (i) (i) (i) (i) (i) (i) (ii) DA-TOP-$k$: 効率的なマルチデバイス近似トップ-k$演算子) (i) (i) (i) (i) (i) (i) (i) DA-TOP-$k$演算子) 。 我々は、10億のパラメータモデルにおいて、HiREがソフトマックスとフィードフォワード層の両方に適用され、ほぼ一致した事前学習と下流の精度を実現し、1台のTPUv5eデバイスで1.47Times$の推論遅延を高速化することを示した。
  論文  参考訳（メタデータ） (2024-02-14T18:04:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。