論文の概要: SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents

• arxiv url: http://arxiv.org/abs/2605.21965v1
• Date: Thu, 21 May 2026 03:55:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 20:14:18.516985
• Title: SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents
• Title（参考訳）: SpecHop: マルチホップ検索エージェントの高速化のための連続的な推測
• Abstract要約: SpecHopは、複数の投機スレッドを維持する継続的投機フレームワークである。 SpecHopが十分なアクティブスレッドでオラクルのレイテンシ向上にアプローチできることを示します。
• 参考スコア（独自算出の注目度）: 55.74932252501046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly use external tools such as web search and document retrieval to solve information-intensive tasks. However, multi-hop tool use in complex tasks introduces substantial latency, since the model must repeatedly wait for tool observations before continuing. We study how to accelerate such trajectories without changing the final trajectory the model would have taken without acceleration, assuming access to faster but less reliable speculator tools. We develop a theoretical framework for lossless speculation in multi-hop tool-use settings, characterizing the optimal achievable latency gain. We propose SpecHop, a continuous speculation framework that maintains multiple speculative threads, verifies predicted observations asynchronously as target tool outputs arrive, commits correct branches, and rolls back incorrect ones. This preserves accuracy while reducing wall-clock latency. We show that SpecHop can approach oracle latency gains with enough active threads. Empirically, on retrieval-augmented multi-hop tasks, SpecHop closely matches theoretical predictions and reduces latency by up to 40\% in some settings. Code: https://github.com/mehrdadsaberi/spechop
• Abstract（参考訳）: 大規模な言語モデルでは、情報集約的なタスクを解決するために、Web検索やドキュメント検索などの外部ツールの利用が増えている。 しかし、複雑なタスクでマルチホップツールを使用すると、モデルを継続する前に繰り返しツールの観察を待つ必要があるため、かなりの遅延が発生する。 本研究では,より高速で信頼性の低い投機ツールを前提として,モデルが取得した最終軌道を変更することなく,そのような軌道を加速する方法について検討する。 我々は,マルチホップツールの利用設定における損失のない推測のための理論的枠組みを開発し,最適に達成可能なレイテンシゲインを特徴付ける。 複数の投機的スレッドを維持する連続的投機フレームワークであるSpecHopを提案し、ターゲットツール出力が到着し、正しいブランチをコミットし、不正なスレッドをロールバックするときに、予測された観察を非同期に検証する。 これにより、壁面の遅延を低減しつつ精度を保ちます。 SpecHopが十分なアクティブスレッドでオラクルのレイテンシ向上にアプローチできることを示します。 経験的に、検索強化されたマルチホップタスクでは、SpecHopは理論的な予測と密接に一致し、いくつかの設定では最大40倍のレイテンシを削減します。 コード:https://github.com/mehrdadsaberi/spechop

関連論文リスト

• AOSpec: Action and Observation Co-Speculation for Low-Latency Agent Serving [12.403374013868019]
  エージェント環境の完全なループをまたいだアクションと観察を共指定するフレームワークであるAOSpecについて述べる。 実行のみの結果が明らかになるため、AOSpecは独立したフォークでレイテンシクリティカルなターゲットアクションをローンチする。 AOSpecは平均エンドツーエンドのレイテンシを11.8-32.5%、p99のレイテンシを42.8%削減する。
  論文  参考訳（メタデータ） (2026-08-01T22:06:52Z)
• IdleSpec: Exploiting Idle Time via Speculative Planning for LLM Agents [56.77101184011525]
  大規模言語モデル(LLM)ベースのエージェントは、反復的なツールコールと環境相互作用で多段階推論を活用することで複雑なタスクを解決する。 ほとんどのエージェントシナリオではアイドル時間が流行しているが、既存の作業では避けられないオーバーヘッドとして扱っている。 IdleSpecは、アイドル時間計算を利用してエージェントのパフォーマンスを向上させる、スケーラブルで汎用的な推論手法である。
  論文  参考訳（メタデータ） (2026-05-21T08:25:17Z)
• SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
  エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。 しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。 このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。 本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:45:47Z)
• Speculating Experts Accelerates Inference for Mixture-of-Experts [44.31811859704714]
  Mixture-of-Experts (MoE)モデルは、大規模言語モデル(LLM)のキャパシティを拡大する手段として人気を集めている。 本稿では、現在計算されている内部モデル表現を活用して、将来の専門家を推測するエキスパートプレフェッチ方式を提案する。 提案手法は,CPUメモリからのエキスパートのオンデマンドロードよりも,出力トークン当たりの最大14%の時間短縮を実現する。
  論文  参考訳（メタデータ） (2026-03-09T06:59:47Z)
• Timely Machine: Awareness of Time Makes Test-Time Scaling Agentic [72.97800570813175]
  ウォールタイムとしてテスト時間を再定義するTimely Machineを提案する。 我々は、高頻度ツールコール、低周波ツールコール、時間制約推論にまたがるベンチマークであるTimely-Evalを紹介する。 より小さなモデルでは、より多くのインタラクションを通じて高速なフィードバックが得られ、大きなモデルでは、より優れたインタラクション品質によって、高レイテンシ設定が支配される。
  論文  参考訳（メタデータ） (2026-01-23T06:28:52Z)
• Task-oriented Learnable Diffusion Timesteps for Universal Few-shot Learning of Dense Tasks [48.86985692711283]
  現在の拡散モデルに基づくアプリケーションは、マルチステップ前方のマルコフ過程から学習された視覚表現のパワーを単一タスク予測タスクに利用している。 本稿では,タスク認識型タイムステップ選択(TTS)と,その選択したタイムステップ機能を統合するTFC(Timestep Feature Consolidation)の2つのモジュールを提案する。 本フレームワークは,少数のサポートクエリのみを考慮すれば,高密度な予測性能を効果的に実現している。
  論文  参考訳（メタデータ） (2025-12-29T05:19:01Z)
• Reducing Latency of LLM Search Agent via Speculation-based Algorithm-System Co-Design [35.95362310928356]
  LLMベースの検索エージェントは、高いパフォーマンスを実現するが、深刻なレイテンシーに悩まされる。 我々は憶測のレンズを通してこのボトルネックを再考する。 SPAgentは,検索エージェントにおける投機の役割を拡大し,レイテンシを低減するアルゴリズム・システム協調設計フレームワークである。
  論文  参考訳（メタデータ） (2025-11-25T08:15:17Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences [11.225649178057695]
  SpecExtendは、追加のトレーニングなしで長いシーケンスでの投機的復号化を改善する。 長い入力のドラフト精度と速度をトレーニングせずに向上させるため,クロスモデル検索を提案する。 SpecExtendは16K-tokenの長い要約で最大2.84倍、長い推論で最大3.86倍の投機的復号化を加速する。
  論文  参考訳（メタデータ） (2025-05-27T06:30:00Z)
• On Latency Predictors for Neural Architecture Search [8.564763702766776]
  本稿では,ハードウェア・デバイス・セットの自動分割による遅延予測タスクの包括的スイートについて紹介する。 次に,(1)予測器アーキテクチャ,(2)NNサンプル選択方法,(3)ハードウェアデバイス表現,(4)NN動作符号化方式を総合的に研究するために,一般遅延予測器を設計する。 本稿では,本研究の結論に基づいて,エンドツーエンドの遅延予測学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-04T19:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。