論文の概要: FactorSpec: Serving Exact Relational Constraints as Speculative Drafts

• arxiv url: http://arxiv.org/abs/2611.02297v1
• Date: Sun, 01 Nov 2026 23:46:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:23:44.395508
• Title: FactorSpec: Serving Exact Relational Constraints as Speculative Drafts
• Title（参考訳）: FactorSpec: 投機的ドラフトとしての厳密な関係制約の実現
• Abstract要約: 投機的復号化は、ターゲットモデルが1回のパスで検証するトークンを起草することで処理を高速化する。 FactorSpecは投機的ドラフトとして正確な制約を提供します。 負荷毎に調整された投機よりも最大1.43倍高速で、文法マスクのコストで復号できる。
• 参考スコア（独自算出の注目度）: 3.0690081485088325
• License:
• Abstract: Speculative decoding speeds up LLM serving by drafting tokens that the target model verifies in one pass, and its gain grows with the drafts the target accepts. Structured outputs should be an ideal case, because much of a record follows from relations among its fields: an itinerary's days follow from its cities' stays and flights. Serving engines, however, draft such text by proposing it from the prompt or a learned head, and their grammar masks enforce only syntax, so the model must satisfy the relations, which it violates: on NATURAL PLAN's trip problems, Qwen3-8B writes a valid itinerary for 10%, and retries that name the violated relation raise this to 14%. We present FactorSpec, which serves exact relational constraints as speculative drafts. FactorSpec compiles a JSON Schema and its relations into a factor graph with an exact feasibility check, drafts every token the constraint determines as certain, verifies each request at a width chosen for it, and computes the masks in worker processes outside the scheduler while the GPU runs. In SGLang, its drafts yield up to 10.5 tokens per verify step, up to 1.9x those of the fastest n-gram drafter, and it decodes up to 1.43x faster than speculators tuned per load, at a grammar mask's cost; it also leads in vLLM. Because every record is also valid, it serves up to 13.9x the valid records per GPU-second of syntax-only baselines.
• Abstract（参考訳）: 投機的復号化は、目標モデルが1パスで検証したトークンを起草することでLCMを高速化し、その利得はターゲットが受け入れるドラフトとともに増加する。 構造的なアウトプットは、その分野間の関係から多くの記録が続くため、理想的なケースであるべきだ。 しかし、サービングエンジンは、プロンプトや学習した頭からそれを提案することでそのようなテキストをドラフトし、文法マスクは文法のみを強制するので、モデルが違反する関係を満たさなければならない: NATURAL PLANの旅行問題に関して、Qwen3-8Bは10%の有効なイテレーションを書き、違反した関係に名前を付けると14%に上昇する。 我々は、投機的ドラフトとして正確な関係制約を提供するFactSpecを提示する。 FactorSpecはJSONスキーマとその関係を、正確な実行可能性チェックでファクタグラフにコンパイルし、制約が確実に決定するすべてのトークンをドラフトし、選択した幅で各リクエストを検証し、GPUの実行中にスケジューラの外のワーカープロセスのマスクを計算する。 SGLangでは、そのドラフトは検証ステップ当たり最大10.5トークン、最速のn-gramドラフトラの最大1.9倍を出力し、文法マスクのコストで、負荷毎に調整された投機よりも最大1.43倍高速に復号する。 すべてのレコードも有効であるため、構文のみのベースラインのGPU秒あたりの有効レコードは最大13.9倍である。

関連論文リスト

• JetSpec++: Foresight Parallel Drafting with Self Refinements [22.844546208450208]
  投機的復号化の有効性は、投機的復号化トークンの受理率と製造コストの2つの量に支配されている。 これら2つの目的をアルゴリズムとシステムの共同設計で最適化できることを示し,JetSpec++を提示する。 JetSpec++は、ほとんど完全にコストを隠しながら、強力な学習されたドラフトモデルを維持している。
  論文  参考訳（メタデータ） (2026-10-14T08:37:27Z)
• SpecFit: Not All Draft Tokens Cost the Same in Offloaded MoE Inference [30.581142873134922]
  受信時間よりも予測スループットを最大化するためにSpecFitを提案する。 CNN/DailyMailの要約とQwen3-30B-A3BによるGSM8Kサブセットでは、SpecFitはEagle-3より21.6%と7.0%高速である。
  論文  参考訳（メタデータ） (2026-10-11T07:41:12Z)
• SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding [84.95922754288466]
  LLMFillは、自動回帰復号よりもエンドツーエンドのスループットを最大4.05$times$改善する。 GlaiveとBFCLでは、Fillは自動回帰デコーディングよりもエンドツーエンドのスループットを最大4.05$times$改善する。
  論文  参考訳（メタデータ） (2026-10-05T12:22:34Z)
• AdaSpark: Adaptive DSpark with Online Learning for Tree Verification and N-gram Fill [8.802416156144181]
  AdaSparkは、プロファイル、キャリブレーション、あるいは前もってスイープなしで、サービス中に両方の量を学ぶ。 各候補者の受理結果に適合し、起草者の自信の頭が1つの入力となり、その木が頭によってではなく、その木によって順序と大きさが決定される。 幅のスイープがなければ、AdaSparkは、どの密集したターゲットやコンテキストバンド上でも最高のピン付きツリー幅よりも0.3%遅くならない。
  論文  参考訳（メタデータ） (2026-10-05T04:18:43Z)
• Constraints Are Graphs, Not Chains: Exact Decoding for Diffusion Language Models [3.449257598670055]
  拡散言語モデル(dLLM)は任意の順序でマスキング位置を予測するが、厳密な制約付きデコーダは制約を逐次言語としてエンコードする。 有限領域関係を因子グラフとして表現する学習自由デコーダであるFacterDLMを紹介する。
  論文  参考訳（メタデータ） (2026-09-26T19:40:43Z)
• DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding [66.40658898418316]
  DiffuSpecは、事前訓練された拡散言語モデル(DLM)を用いて、単一のフォワードパスでマルチトークンのドラフトを生成する、トレーニングフリーのドロップインフレームワークである。 ベンチマーク全体を通じて、DiffuSpecは最大3倍のウォールクロックスピードアップを達成し、投機的復号化のための自己回帰型ドラフトラの堅牢な代替手段として拡散ベースのドラフトを確立する。
  論文  参考訳（メタデータ） (2025-09-28T07:00:15Z)
• Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs [56.47577824219207]
  本稿では,既製の大規模言語モデルを補完して,希望するトークン数を正確に生成するプロンプトベースの戦略を提案する。 プロンプトはカウントダウンマーカーと明示的なカウントルールを付加し、モデルが"カウント中に書き込む"。 MT-Bench-LI では、GPT-4.1 の厳格な長さコンプライアンスは、単純なプロンプトの30%以下から、カウントダウンプロンプトの95%以上へと飛躍する。
  論文  参考訳（メタデータ） (2025-08-19T13:12:01Z)
• LongProc: Benchmarking Long-Context Language Models on Long Procedural Generation [62.03873304893779]
  LongProc(Long Procedural Generation)は、Long-context言語モデルを評価するための新しいベンチマークである。 高度に分散した情報と長文生成を統合する必要がある。 我々は,LongProc上の23個のLCLMを3つの難易度で評価し,500,2K,8Kの出力トークンの最大数を示した。
  論文  参考訳（メタデータ） (2025-01-09T18:16:55Z)
• ParallelSpec: Parallel Drafter for Efficient Speculative Decoding [62.68430939686566]
  提案するParallelSpecは,最先端の投機的復号化手法における自己回帰的起草戦略の代替となる。 投機段階における自己回帰的起草とは対照的に,効率的な投機モデルとして機能する並列投機を訓練する。
  論文  参考訳（メタデータ） (2024-10-08T01:05:08Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。