Fugu-MT 論文翻訳(概要): AgentSpec: Speculative Decoding for Batch Inference of LLM Agents

論文の概要: AgentSpec: Speculative Decoding for Batch Inference of LLM Agents

arxiv url: http://arxiv.org/abs/2608.24004v1
Date: Tue, 25 Aug 2026 02:49:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-26 14:09:34.765224
Title: AgentSpec: Speculative Decoding for Batch Inference of LLM Agents
Title（参考訳）: AgentSpec: LLMエージェントのバッチ推論のための投機的デコーディング
Abstract要約: 投機的復号アルゴリズムは大きなバッチサイズで大幅な速度劣化を示す。 LLMエージェントの既存のメソッドの制限に対処する投機的復号アルゴリズムであるAgentSpecを提案する。
参考スコア（独自算出の注目度）: 21.065887019901293
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language model (LLM)-based agent applications often incur high response time. Speculative decoding is a promising solution to improve the inference efficiency of LLM agents without impacting generation quality. However, state-of-the-art speculative decoding algorithms exhibit substantial speed degradation under large batch sizes, limiting their effectiveness to deploy in real-world agent applications. In this work, we first present a systematic analysis of speculative decoding for LLM agents and identify two dominant factors of speedup degradation: high rejection rate of speculative tokens, and under-utilization of dynamic token budgets.B ased on these observations, we propose AgentSpec, a speculative decoding algorithm that addresses the limitations of existing methods for LLM agents. AgentSpec incorporates structure-isolated drafting that constrains speculation to semantically coherent segments of the agent workflow, reducing the drafts of irrelevant semantic paths and achieving an extremely low rejection rate. Moreover, AgentSpec adopts redundancy-aware budget allocation that exploits agent-level information to better utilize the dynamically-free token budget during the agent inference. We implement and evaluate AgentSpec on five different workloads and four different models from four different LLM families in vLLM. Our results demonstrate the superiority of AgentSpec over state-of-the-arts.
Abstract（参考訳）: 大規模言語モデル(LLM)ベースのエージェントアプリケーションは、しばしば高い応答時間を引き起こす。投機的復号化は、生成品質に影響を与えることなくLLMエージェントの推論効率を向上させるための有望な解である。しかし、最先端の投機的復号アルゴリズムは、大規模なバッチサイズで大幅な速度低下を示し、実世界のエージェントアプリケーションにデプロイする効率を制限している。本稿では, LLMエージェントの投機的復号法を体系的に解析し, 投機的トークンの高拒否率, 動的トークン予算の低活用という, スピードアップ劣化の2つの主要な要因を同定し, これらの観測に基づいて, LLMエージェントの既存手法の限界に対処する投機的復号法であるAgentSpecを提案する。 AgentSpecは、推論をエージェントワークフローのセマンティックコヒーレントなセグメントに制約する構造的分離されたドラフトを導入し、無関係なセマンティックパスのドラフトを削減し、非常に低い拒絶率を達成する。さらにAgentSpecは、エージェントレベルの情報を利用してエージェント推論中に動的にフリーなトークン予算をうまく活用する冗長性対応の予算割り当てを採用している。我々は,5つの異なるワークロードと,vLLMの4つの異なるLLMファミリーから4つの異なるモデルでAgentSpecを実装し,評価する。この結果は,AgentSpecが最先端技術よりも優れていることを示す。

関連論文リスト

From Atomic to Agentic: Towards Interpretable Evaluation of LLMs' Agentic Mathematical Capabilities [103.60384544335072]
大規模言語モデル(LLM)は、エンドツーエンドの数学的推論からエージェントインテリジェンスの統合へと進化している。本フレームワークは,問題解決エージェントの挙動を,再利用可能な数学的原子能力の構造化された分類法と整合させる。実験により、同様のエンドツーエンドの精度を持つモデルでは、エージェント能力プロファイルが著しく異なることが判明した。
論文参考訳（メタデータ） (2026-08-27T10:52:06Z)
Beyond LLM-Based Reasoning: Lightweight GNNs for Agent Failure Attribution [47.70578021328887]
大規模言語モデル(LLM)ベースのマルチエージェントシステムは、しばしば複雑な障害モードを示す。 AFANetは、ステップレベルの意味信号とエージェントレベルの関係を通して相互作用軌跡をモデル化する軽量なグラフベースのフレームワークである。以上の結果から, エージェント障害の効果的な帰属は大きな推論を必要とせず, 軽量で構造化されたアプローチで高い性能を達成できることが示唆された。
論文参考訳（メタデータ） (2026-08-19T06:16:09Z)
IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。 IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
論文参考訳（メタデータ） (2026-05-21T08:25:17Z)
FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
論文参考訳（メタデータ） (2026-04-28T02:21:53Z)
Execution-State-Aware LLM Reasoning for Automated Proof-of-Vulnerability Generation [36.950993500170014]
本稿では,PoV生成を反復的仮説検証法として再構成するエージェントフレームワークであるDrillAgentを提案する。我々は、実世界のC/C++脆弱性の大規模なベンチマークであるSEC-bench上でDrillAgentを評価する。
論文参考訳（メタデータ） (2026-02-14T03:17:27Z)
DLLM Agent: See Farther, Run Faster [94.74432470237817]
拡散大言語モデル(DLLM)は、自己回帰(AR)デコーディングの代替として、魅力的な効率とモデリング特性を持つ。我々は、DLLMとARのバックボーンを同一のエージェントワークフロー内でインスタンス化することで、制御された環境でこれを研究する。 DLLMエージェントはARエージェントよりも平均30%以上速く、場合によっては8倍のスピードアップを達成している。
論文参考訳（メタデータ） (2026-02-07T09:01:18Z)
Reducing Latency of LLM Search Agent via Speculation-based Algorithm-System Co-Design [35.95362310928356]
LLMベースの検索エージェントは、高いパフォーマンスを実現するが、深刻なレイテンシーに悩まされる。我々は憶測のレンズを通してこのボトルネックを再考する。 SPAgentは,検索エージェントにおける投機の役割を拡大し,レイテンシを低減するアルゴリズム・システム協調設計フレームワークである。
論文参考訳（メタデータ） (2025-11-25T08:15:17Z)
AGENTIF: Benchmarking Instruction Following of Large Language Models in Agentic Scenarios [51.46347732659174]
LLM(Large Language Models)は、現実世界のエージェントアプリケーションにおいて高度な機能を示す。 AgentIFは、エージェントシナリオでLLM命令に従う能力を体系的に評価する最初のベンチマークである。
論文参考訳（メタデータ） (2025-05-22T17:31:10Z)
Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
論文参考訳（メタデータ） (2024-03-29T03:48:12Z)
Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-12T17:24:15Z)
AgentBench: Evaluating LLMs as Agents [99.12825098528212]
エージェントとしてのLarge Language Model (LLM)は近年広く認知されている。我々は,LLM-as-Agentの推論と意思決定能力を評価するために,8つの異なる環境からなるベンチマークであるAgentBenchを提案する。
論文参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。