論文の概要: AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving
- arxiv url: http://arxiv.org/abs/2608.00881v1
- Date: Sat, 01 Aug 2026 22:06:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.968866
- Title: AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving
- Title（参考訳）: AOSpec:低レイテンシエージェント実行のための行動と観察の共種
- Abstract要約: エージェント環境の完全なループをまたいだアクションと観察を共指定するフレームワークであるAOSpecについて述べる。
実行のみの結果が明らかになるため、AOSpecは独立したフォークでレイテンシクリティカルなターゲットアクションをローンチする。
AOSpecは平均エンドツーエンドのレイテンシを11.8-32.5%、p99のレイテンシを42.8%削減する。
- 参考スコア（独自算出の注目度）: 12.403374013868019
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model agents increasingly act through stateful tools, yet model generation and environment execution remain serialized at every step. As decoding accelerates, tool execution becomes a growing bottleneck. Existing action- or observation-only speculation leaves much of this latency exposed: value is concentrated in a few slow calls, some outcomes emerge only through execution, and longer lookahead typically requires an increasingly unlikely chain of action predictions. We present AOSpec, a lossless framework that co-speculates actions and observations across the full agent-environment loop. Expected Value Decoding (EVD) directs observation speculation toward outcomes with the greatest expected latency benefit, optimizing expected time hidden rather than hit rate. For outcomes only execution can reveal, AOSpec launches latency-critical target actions in isolated forks that contain their effects, while Joint Action-State Verification (JASV) verifies both the action and its origin state against committed execution before reuse. JASV recasts long-horizon action dependency from full-chain prediction into target action-state verification, breaking the lookahead--accuracy tradeoff and unlocking long-range overlap without sacrificing serial semantics. Across Terminal-Bench serving settings spanning four harnesses, five actor models, and five serving speeds, AOSpec outperforms every practical baseline, reducing mean end-to-end latency by 11.8-32.5% and p99 latency by up to 42.8%. Its gains increase as decoding accelerates, and its observation model transfers from Terminal-Bench to SWE-bench Verified without retraining.
- Abstract（参考訳）: 大規模言語モデルエージェントはステートフルなツールを通じてますます行動しますが、モデル生成と環境実行は、すべてのステップでシリアライズされます。
デコーディングが加速するにつれて、ツールの実行はボトルネックとして増大する。
既存のアクションまたは観察のみの憶測は、このレイテンシの大部分を露呈している: 値はいくつかの遅い呼び出しに集中しており、いくつかの結果は実行時にのみ現れ、より長いルックアヘッドは通常、ますます起こりそうなアクション予測の連鎖を必要とする。
AOSpecは、完全なエージェント環境ループを横断するアクションと観察を共指定する、損失のないフレームワークである。
期待値復号(EVD)は、期待される最大のレイテンシのメリットを持つ結果に対する観測の投機を指示し、ヒット率よりも隠れた期待時間を最適化する。
AOSpecは、その効果を含む独立したフォークで遅延クリティカルなターゲットアクションを起動する一方、JASV(Joint Action-State Verification)は、再利用前にコミットされた実行に対してアクションと元の状態の両方を検証する。
JASVは、フルチェーン予測からターゲットアクション状態検証へのロングホライゾンアクション依存性をリキャストし、ルックアヘッドの精度トレードオフを破り、シリアルセマンティクスを犠牲にすることなく、長距離オーバーラップをアンロックする。
4つのハーネス、5つのアクターモデル、5つのサービス速度にまたがるターミナルベンチでは、AOSpecはすべての実用的なベースラインを上回り、平均的なエンドツーエンドレイテンシを11.8-32.5%、p99レイテンシを最大42.8%削減している。
復号化が加速するにつれて向上し、観測モデルは再訓練せずにターミナルベンチからSWEベンチに移行する。
関連論文リスト
- Speculative Macro Commit for Faster Tool-Using Agents [18.574702996656935]
2層エージェントシステムの実行機構である textbfSpeculative Macro Commit (SMC) を導入する。
SMCは、トレーニングトレースから繰り返し発生するマルチアクションスケルトンをマイニングし、マクロライブラリーに保存する。
AppWorldでは,SAベースラインを7.7%,シーケンシャル実行を44.9%削減する。
論文 参考訳（メタデータ） (2026-09-03T00:31:43Z) - Latent Action as Intention Enables Efficient Future Imagination for World Action Models [20.031922437200524]
提案するアーキテクチャ**LAWA**は,コンパクトな潜伏動作を将来の意図の操作的表現として利用するWAMアーキテクチャである。
RoboCasaでは、LAWAは数ショットと全データ設定で65.6%と80.8%という最先端の平均的な成功率を達成した。
また、一致したJoint-WAMモデルの性能レベルも保持し、42.9%の遅延時間を必要とする。
論文 参考訳（メタデータ） (2026-08-25T17:59:03Z) - FutureRTC: Real-Time Robot Execution with Anticipatory-Conditioned Action Chunking [51.97839311685636]
FutureRTCは、実行時の観察と非同期VLA制御の状態を予測するためのプラグイン・アンド・プレイ適応フレームワークである。
FutureRTCは推論遅延に対する堅牢性を実現し,よりスムーズな軌道,高速な実行,一貫したタスク成功率を実現している。
論文 参考訳（メタデータ） (2026-07-27T05:10:16Z) - IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。
ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。
IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
論文 参考訳（メタデータ） (2026-05-21T08:25:17Z) - SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents [55.74932252501046]
SpecHopは、複数の投機スレッドを維持する継続的投機フレームワークである。
SpecHopが十分なアクティブスレッドでオラクルのレイテンシ向上にアプローチできることを示します。
論文 参考訳（メタデータ） (2026-05-21T03:55:47Z) - SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。
しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。
このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。
本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
論文 参考訳（メタデータ） (2026-03-24T17:45:47Z) - FASTER: Rethinking Real-Time Flow VLAs [82.58822112377923]
VLA(Vision-Language-Action)モデルを物理世界に展開するには、リアルタイム実行が不可欠である。
反応時間は、TTFA(Time to First Action)と実行地平線によって決定される一様分布に従っていることを示す。
即時反応のための高速動作サンプリング(FASTER)を提案し,この問題を克服する。
論文 参考訳（メタデータ） (2026-03-19T17:51:37Z) - Reducing Latency of LLM Search Agent via Speculation-based Algorithm-System Co-Design [35.95362310928356]
LLMベースの検索エージェントは、高いパフォーマンスを実現するが、深刻なレイテンシーに悩まされる。
我々は憶測のレンズを通してこのボトルネックを再考する。
SPAgentは,検索エージェントにおける投機の役割を拡大し,レイテンシを低減するアルゴリズム・システム協調設計フレームワークである。
論文 参考訳（メタデータ） (2025-11-25T08:15:17Z) - SpecExit: Accelerating Large Reasoning Model via Speculative Exit [10.522333173441453]
我々は、将来のトークンとドラフトモデルから直接、オーバーヘッドを予測せずに早期終了シグナルを予測するフレームワークであるSpecExitを提案する。
提案手法は,平均生成長を66%削減し,エンドツーエンドのレイテンシで2.5倍の高速化を実現した。
論文 参考訳（メタデータ） (2025-09-29T03:39:32Z) - LSTC: Boosting Atomic Action Detection with Long-Short-Term Context [60.60267767456306]
我々は行動認識パイプラインを短期的・長期的依存に分解する。
本設計では, 局所集約分枝を用いて, 密集した情報的短期的手がかりを収集する。
両方のブランチは、コンテキスト固有のアクションを独立して予測し、結果が最後にマージされる。
論文 参考訳（メタデータ） (2021-10-19T10:09:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。