論文の概要: SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference

• arxiv url: http://arxiv.org/abs/2607.03333v1
• Date: Fri, 03 Jul 2026 13:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.592564
• Title: SPORK: Self-Speculative Forking to Accelerate Agentic LLM Inference
• Title（参考訳）: SPORK: エージェントLLM推論を高速化するための自己投機的フォーク
• Abstract要約: SPORKは推測されたツールコールを早期にディスパッチし、残りのチェーン・オブ・ソート・デコードでその実行を重複させる。 SPORKは、推測されたツールコールを早期にディスパッチする、トレーニング不要のコントローラである。
• 参考スコア（独自算出の注目度）: 6.978795233982147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents are becoming a common interface for research, coding, and question answering, yet their Thought-Action-Observation loop is often serial: the model reasons, emits a tool call, then idles the GPU until the result returns. This wait consumes 16-37% of wall time in our workloads and 35-61% in prior reports. Speculative tool execution can hide this wait, but existing systems need auxiliary predictors, historical traces, or static workflow graphs, leaving a gap for training-free, day-one deployment. We observe that the model can be its own predictor: a probe forked at the start of generation predicts Qwen3-32B's upcoming tool name with 74.6-99.6% accuracy across five benchmarks. We present SPORK (Self-sPeculative fORKing), a training-free controller that dispatches the speculated tool call early, overlapping its execution with the remaining chain-of-thought decode. A cost model captures when speculation breaks even, and each component improves one of its terms: a prefix-cache fork cuts probe cost, a confidence gate filters mispredictions, and partial-token accept turns rejected probes into speculative-decoding drafts. On acceptance, the tool result is ready when reasoning ends; on rejection, SPORK falls back to serial execution with no correctness penalty. On real-tool benchmarks, SPORK cuts Qwen3-32B's GAIA P95 by 18% (131.9 to 108.1 s); the mechanism holds across model sizes from 4B to 32B and across dense and mixture-of-experts models, with task accuracy within 1 pp of baseline or better wherever measured. SPORK deploys as a thin controller over standard completion APIs (no retraining, no auxiliary models, no offline traces) and is orthogonal to token-level speculative decoding. SPORK is open source at https://github.com/baihuajun24/spork.
• Abstract（参考訳）: LLMエージェントは、研究、コーディング、質問応答の共通インターフェースになりつつあるが、彼らのThought-Action-Observationループは、しばしばシリアルである。 この待ち時間は、ワークロードの16～37%、以前のレポートの35～61%を消費します。 推測ツールの実行はこの待ち時間を隠すことができるが、既存のシステムは補助的な予測器、履歴トレース、静的なワークフローグラフを必要としており、トレーニングなしのデイワンデプロイメントのギャップを残している。 生成時にフォークされたプローブは、5つのベンチマークで74.6-99.6%の精度でQwen3-32Bの次のツール名を予測します。 提案するSPORK(Self-sPeculative fORKing)は,提案するツールコールを早期にディスパッチするトレーニングフリーコントローラである。 コストモデルは、憶測が偶発的に破られ、各コンポーネントは、プローブコストを削減し、信頼ゲートフィルタが誤予測を検知し、部分的な受け入れは、拒否されたプローブを投機的復号ドラフトに切り替える。 受け入れられると、ツールの結果は推論が終わると準備でき、拒否すると、SPORKは正当性のペナルティなしでシリアル実行にフォールバックする。 SPORKはQwen3-32BのGAIA P95を18%削減し(131.9から108.1秒)、4Bから32Bまでのモデルサイズと、密集した実験用モデルと混合された実験用モデルをサポートし、ベースラインの1pp以内のタスク精度で測定できる。 SPORKは標準的なコンプリートAPI(リトレーニングなし、補助モデルなし、オフライントレースなし)よりも薄いコントローラとしてデプロイされ、トークンレベルの投機的デコードに直交する。 SPORKはhttps://github.com/baihuajun24/spork.comでオープンソース化されている。

関連論文リスト

• How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method [4.37919186746582]
  ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。 我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。 SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
  論文  参考訳（メタデータ） (2026-09-04T15:30:22Z)
• Large Models for Small Devices: Recent Advances and Empirical Analysis of Edge AI Deployment [4.582004238093247]
  リソース制約のあるエッジデバイス上で大規模なAIモデルを実行するには、モデルサイズと計算量を削減するためにモデル圧縮が必要である。 質問応答とイメージセグメンテーションにまたがって、GPU、CPU、Raspberry Piプラットフォームにコンパクトな言語とイメージモデルをデプロイします。 ニューラルネットワークグラフ解析とプリフィル・デコードレベルの遅延分解により,これらの効果を説明する。
  論文  参考訳（メタデータ） (2026-08-16T11:52:13Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Calibrated e-CUSUM Decoding for Quantized Reasoning Models: Why Token Log-Probability Is the Wrong Observable for Decoding Monitors [0.6999740786886536]
  低ビット量子化により、小さな推論モデルは安価に展開できるが、思考の連鎖を分解することができる。 中心となるトークンのlog-probabilityは$log p(w_t)+H_t$が間違ったオブザーバブルであることを示します。 本稿では,トークンの不確実性と明示的な繰り返しを混在させるデジェネレーションを意識したアラームスコアを組み合わせた,トレーニング不要な復号制御手法を提案する。
  論文  参考訳（メタデータ） (2026-07-13T09:34:36Z)
• When Does Streaming Tool Use Help? Characterizing Tool-Intent Stabilization in Streaming Retrieval-Augmented Generation [0.0]
  Streaming Retrieval-Augmented Generationは、発話が完了する前に、ユーザのまだ到着している入力と並行して検索クエリを発行することで、ツールのレイテンシを隠蔽する。 我々は,この特性,ツールインテリジェンス安定化,すなわち,投機的クエリの検索が解答結果に収束する入力ストリーム内の点を命名し,測定する。
  論文  参考訳（メタデータ） (2026-06-18T11:38:17Z)
• Auditable Graph-Guided Root Cause Analysis for Kubernetes Incidents [1.116726665785374]
  LLM推論と特殊なツールを組み合わせたグラフ誘導RCAエージェントであるグラフトラバースエージェントを提案する。 我々は、読み取り専用エビデンス収集、伝搬認識診断、有界実行、独立に検証された検証を含む運用上の制約をマップする。 ある固定されたqwenオーバージャッジによってスコアされたITBenchスナップショットでは、監査されたシステムは、同じシステムの初期のイテレーションに対してルート因果F1を上昇させる。
  論文  参考訳（メタデータ） (2026-06-07T12:05:09Z)
• LLM Agents Already Know When to Call Tools -- Even Without Reasoning [25.40369702634587]
  LLMエージェントは、たとえモデルが直接答えられるとしても、ツールを無差別に呼び出す傾向がある。 ツールコールが実際に必要になった場合、既存のベンチマークは体系的に研究されない。 ツールの必要性の3つのカテゴリにまたがる18の環境のベンチマークである When2Tool を提案する。
  論文  参考訳（メタデータ） (2026-05-10T01:37:40Z)
• Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
  データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。 検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。 このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
  論文  参考訳（メタデータ） (2026-01-09T16:44:17Z)
• LYNX: Learning Dynamic Exits for Confidence-Controlled Reasoning [15.597220136913258]
  LYNXはオンラインのアーリーエグジットメカニズムで、モデル自身の隠れ状態の認識を信頼性制御による停止決定に変換する。 一般的な数学的コーパスで一度このプローブをトレーニングして校正し、ベンチマーク、復号化温度、さらには非数学的なタスクで再利用します。
  論文  参考訳（メタデータ） (2025-12-05T00:04:42Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• MICE for CATs: Model-Internal Confidence Estimation for Calibrating Agents with Tools [54.63478102768333]
  十分に校正されたモデル信頼度は、潜在的な行動の報酬に対するリスクを測るために使用することができる。 本稿では,ツール呼び出し時の信頼度を評価するために,モデル内信頼度推定器(MICE)の新たなクラスを提案する。
  論文  参考訳（メタデータ） (2025-04-28T18:06:38Z)
• Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference [72.61732440246954]
  大規模な事前訓練された言語モデルは、テスト入力間の論理的一貫性を欠いていることが多い。 本研究では,事前学習したNLPモデルの一貫性と精度を高めるためのフレームワークであるConCoRDを提案する。 ConCoRDは、市販のクローズドブックQAおよびVQAモデルの精度と一貫性を一貫して向上することを示す。
  論文  参考訳（メタデータ） (2022-11-21T21:58:30Z)
• A shallow neural model for relation prediction [2.2559617939136505]
  本稿では,エンティティからの欠落関係を正確に推測する浅層神経モデル(shallom)を提案する。 本実験は、SHALLOMがFB15K-237およびWN18RRデータセットにおける最先端のアプローチを上回っていることを示しています。
  論文  参考訳（メタデータ） (2021-01-22T13:10:11Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)
• Superiority of Simplicity: A Lightweight Model for Network Device Workload Prediction [58.98112070128482]
  本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。 ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。 利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
  論文  参考訳（メタデータ） (2020-07-07T15:44:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。