論文の概要: OoO-Spec: Out-of-Order Semantic Speculation for Fast Tool Calling
- arxiv url: http://arxiv.org/abs/2608.00814v1
- Date: Sat, 01 Aug 2026 18:41:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.944767
- Title: OoO-Spec: Out-of-Order Semantic Speculation for Fast Tool Calling
- Title（参考訳）: OoO-Spec: 高速ツール呼び出しのためのアウトオブオーダーセマンティックな推測
- Abstract要約: LLMは、関数の選択と引数の値は、要求とツールスキーマと並行して予測できるにもかかわらず、トークン単位でツールコールを生成する。
我々は、これらの欠落したセマンティクスを順番に計算するOoO-Specを提案する。
- 参考スコア（独自算出の注目度）: 10.19615019581895
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLMs generate tool calls token by token, even though the function choice and argument values can often be predicted in parallel from the request and tool schema. ToolSpec reduces this cost by drafting schema tokens and retrieving earlier calls, but cannot propose request-specific values absent from either source. We present OoO-Spec, which computes these missing semantics out of order. At request arrival, a Qwen3-0.6B sidecar predicts the function choice and all schema-defined argument slots in one parallel request-level wave while the target begins ToolSpec decoding. The runtime joins the slot values, renders the resulting call as text, and exposes it to subsequent candidate-construction rounds. The target polls without blocking, re-tokenizes a ready hint with its own tokenizer, and remains the sole verifier and commit authority. The sidecar is trained once with LoRA on Qwen2.5-32B teacher traces and used unchanged across Qwen2.5, Qwen3, and Llama targets, without target-specific drafter training. Across seven fully ranked targets and three benchmarks under greedy batch-one decoding, OoO-Spec is fastest among all evaluated methods in all 21 target-benchmark cells, reaching 2.46x-5.34x over autoregressive decoding with an unweighted mean of 3.89x, versus 2.95x for ToolSpec. It also outperforms every evaluated released learned drafter in each comparable cell. Across Qwen3-4B, 8B, 14B, and 32B targets, the same sidecar improves on ToolSpec by 34.1% on average. Its compact semantic payload averages 85 bytes per request excluding protocol metadata, supporting effective split-GPU overlap.
- Abstract（参考訳）: LLMは、関数の選択と引数の値は、要求とツールスキーマと並行して予測できるにもかかわらず、トークン単位でツールコールを生成する。
ToolSpecはこのコストを、スキーマトークンのドラフトと以前の呼び出しの検索によって削減するが、どちらのソースからも存在しないリクエスト固有の値を提案することはできない。
我々は、これらの欠落したセマンティクスを順番に計算するOoO-Specを提案する。
リクエスト到着時には、Qwen3-0.6Bサイドカーが関数の選択と、ターゲットがToolSpecデコードを開始する間、1つの並列要求レベルのウェーブ内のすべてのスキーマ定義引数スロットを予測する。
ランタイムはスロット値と結合し、結果の呼び出しをテキストとしてレンダリングし、その後の候補構成ラウンドに公開する。
ターゲットはブロッキングせずにポーリングし、独自のトークン化ツールで準備されたヒントを再起動し、唯一の検証とコミット権限を維持します。
サイドカーは1回、Qwen2.5-32Bの教師のトレースでLoRAで訓練され、Qwen2.5、Qwen3、Llamaの目標に対して、目標固有のドラフトを使わずに変更されていない。
7つの完全にランク付けされたターゲットと3つのベンチマークにおいて、OoO-Specは21個のターゲットベンチマークセルで評価されたすべてのメソッドの中で最速であり、非重み付き平均3.89倍の自己回帰デコーディングで2.46x-5.34倍に達した。
また、各同等のセルで、評価済みの学習されたドラフトアよりも優れています。
Qwen3-4B、8B、14B、32Bの目標に対して、同じサイドカーがToolSpecを平均34.1%改善している。
そのコンパクトなセマンティックペイロードは、プロトコルメタデータを除くリクエストあたり平均85バイトであり、効率的な分割GPUオーバーラップをサポートする。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。
我々は,中等教育における機能意識の充足を通じてこれを活用する。
論文 参考訳（メタデータ） (2026-07-14T07:44:26Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - BeSpec: Behavior-Level Specification Alignment for Code Generation [2.9611475619490633]
本稿では,行動モデルに基づく仕様アライメントアプローチであるBeSpecについて述べる。
BeSpecはタスク記述を、正しいプログラムの意図した振る舞いに関する部分的な証拠として扱う。
候補プログラムを生成し、プローブ入力で実行し、観測された振る舞いと予測された振る舞いを比較する。
論文 参考訳（メタデータ） (2026-07-03T04:48:45Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting [44.70535853030503]
投機的復号(SD)は、複数のトークンを起草し、それらを並列に検証することによって、自己回帰的大規模言語モデル(LLM)を加速する。
従来のヘッドベースSD法は因果効率ジレンマに直面していた。
本稿では,一方向起案効率と分岐的因果条件を組み合わせたヘッドベースSDフレームワークJetSpecを提案する。
論文 参考訳（メタデータ） (2026-06-16T18:37:32Z) - DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models [13.242009624334996]
DynaSpecは動的ショートリスト機構で、堅牢で、ドラフトをスピードアップし、さまざまなタスクにまたがって一般化する。
Llama-3-8Bでは許容される平均長を98.2%まで改善した。
文脈依存の選択を利用することで、DynaSpecは生成トークンの最大2.18倍、固定語彙アプローチの1.91倍を達成する。
論文 参考訳（メタデータ） (2025-10-11T19:38:07Z) - HiSpec: Hierarchical Speculative Decoding for LLMs [15.347747465564458]
低オーバーヘッド中間検証のために$textitearly-exit(EE)モデルを利用する投機的復号化フレームワークを提案する。
HiSpecは平均1.28$times$、平均2.01$times$をベースラインのシングルレイヤの推測と比較して改善している。
論文 参考訳（メタデータ） (2025-10-01T18:04:14Z) - LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation [15.04977852652768]
投機的復号法(SD)はLLM推論加速のための有望な手法である。
LogitSpecは、最後のトークンのロジットが次のトークンを予測できるだけでなく、次のトークンを推測できるという観察によって動機付けられている。
LogitSpecは最大2.61$times$ Speedupと3.28のデコードステップで受け入れられたトークンを達成できる。
論文 参考訳（メタデータ） (2025-07-02T08:08:30Z) - ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。
投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
論文 参考訳（メタデータ） (2024-10-08T01:05:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。