論文の概要: SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding

• arxiv url: http://arxiv.org/abs/2610.07086v1
• Date: Mon, 05 Oct 2026 12:22:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.546375
• Title: SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding
• Title（参考訳）: SchemaFill: Slot-Parallel 投機的デコードによる効率的な LLM ツール呼び出し
• Abstract要約: LLMFillは、自動回帰復号よりもエンドツーエンドのスループットを最大4.05$times$改善する。 GlaiveとBFCLでは、Fillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$times$改善する。
• 参考スコア（独自算出の注目度）: 84.95922754288466
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents interact with external systems by generating structured tool calls. Given a user request, conversational context, and a catalog of tool schemas, a tool-calling model must select tools and generate their arguments, potentially producing multiple calls in a single response. Standard autoregressive decoding generates these calls token by token, incurring substantial latency for requests involving multiple calls or many argument fields. The explicit argument structure offers opportunities for parallel generation, but later argument values may depend on preceding fields and calls, so independently generated values can differ from the target model's output. We present SchemaFill, a framework for efficient LLM tool calling through slot-parallel speculative decoding. SchemaFill generates future slot values concurrently as candidates, without requiring advance knowledge of the actual call sequence or argument values. Candidates spanning multiple fields and calls are concatenated for verification by the target model under the actual output prefix. Only verified tokens are committed, and the target supplies corrections when candidates disagree. This applies target verification while exploiting parallelism across slots and calls. On Glaive and BFCL, SchemaFill achieves up to a 4.05$\times$ improvement in end-to-end throughput over autoregressive decoding. Code is available at https://github.com/Czzzk/SchemaFill.
• Abstract（参考訳）: LLMエージェントは、構造化ツールコールを生成することで外部システムと対話する。 ユーザ要求、会話コンテキスト、ツールスキーマのカタログが与えられた場合、ツールコールモデルはツールを選択して引数を生成しなければならない。 標準的な自己回帰復号化はトークンごとにこれらのコールトークンを生成し、複数の呼び出しや多くの引数フィールドを含む要求に対してかなりの遅延を発生させる。 明示的な引数構造は並列生成の機会を提供するが、後の引数値は前のフィールドと呼び出しに依存する可能性があるため、独立に生成された値はターゲットモデルの出力と異なる可能性がある。 スロット並列投機的復号化による効率的なLCMツールコールのためのフレームワークであるSchemaFillを提案する。 SchemaFillは、実際の呼び出しシーケンスや引数値の事前知識を必要とせずに、将来的なスロット値を候補として同時に生成する。 複数のフィールドと呼び出しにまたがる候補は、実際の出力プレフィックスの下でターゲットモデルによる検証のために結合される。 認証されたトークンのみがコミットされ、候補が同意しない場合にターゲットが修正を提供する。 これは、スロットと呼び出しをまたいだ並列性を悪用しながら、ターゲット検証を適用する。 GlaiveとBFCLでは、SchemaFillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$\times$改善する。 コードはhttps://github.com/Czzzk/SchemaFill.comで入手できる。

関連論文リスト

• DynaSpec: Context-aware Dynamic Speculative Sampling for Large-Vocabulary Language Models [13.242009624334996]
  DynaSpecは動的ショートリスト機構で、堅牢で、ドラフトをスピードアップし、さまざまなタスクにまたがって一般化する。 Llama-3-8Bでは許容される平均長を98.2%まで改善した。 文脈依存の選択を利用することで、DynaSpecは生成トークンの最大2.18倍、固定語彙アプローチの1.91倍を達成する。
  論文  参考訳（メタデータ） (2025-10-11T19:38:07Z)
• SuffixDecoding: Extreme Speculative Decoding for Emerging AI Applications [13.948608558319307]
  投機的復号化は、大規模言語モデル(LLM)推論の遅延を低減するために広く採用されている。 エージェントフレームワークは繰り返しの推論要求を送信し、その結果、長く予測可能な計算結果が得られる。 本稿では,効率的な接尾辞木を用いて長いトークン列をキャッシュする新しい手法であるemphSuffixDecodingを紹介する。
  論文  参考訳（メタデータ） (2024-11-07T18:49:33Z)
• COrAL: Order-Agnostic Language Modeling for Efficient Iterative Refinement [80.18490952057125]
  反復改良は、複雑なタスクにおける大規模言語モデル(LLM)の能力を高める効果的なパラダイムとして登場した。 我々はこれらの課題を克服するために、コンテキストワイズ順序非依存言語モデリング(COrAL)を提案する。 当社のアプローチでは、管理可能なコンテキストウィンドウ内で複数のトークン依存関係をモデル化しています。
  論文  参考訳（メタデータ） (2024-10-12T23:56:19Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• Turning Trash into Treasure: Accelerating Inference of Large Language Models with Token Recycling [24.04649159686283]
  投機的復号化(英: Speculative decoding)は、推測と検証のパラダイムを通じて推論を加速するアプローチである。 トケンリサイクルは、候補トークンを隣接行列に格納し、幅優先探索アルゴリズムを用いる。 既存の列車なしの手法を30%上回り、広く認められた訓練方法さえも25%上回っている。
  論文  参考訳（メタデータ） (2024-08-16T12:20:56Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• An LLM Compiler for Parallel Function Calling [68.04566807806071]
  我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
  論文  参考訳（メタデータ） (2023-12-07T18:32:04Z)
• SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification [13.174386920965107]
  SpecInferは、木に基づく投機的推測と検証を扱う生成的大規模言語モデル(LLM)を高速化するシステムである。 トークンツリーで表される全ての候補トークンシーケンスの正当性を、新しいツリーベースの並列復号機構を用いてLLMに対して並列に検証する。
  論文  参考訳（メタデータ） (2023-05-16T20:12:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。