論文の概要: SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification

• arxiv url: http://arxiv.org/abs/2607.20475v1
• Date: Sun, 24 May 2026 23:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.189479
• Title: SonicSampler: Unified Tile-Aware Kernels for LLM Sampling and Speculative Verification
• Title（参考訳）: SonicSampler: LLMサンプリングと推測検証のための統一タイル対応カーネル
• Abstract要約: タイルを意識したTritonカーネルの統一スイートであるtextbfSonicSampler$を提示する。 我々のカーネルは文法制約付き復号を含む動的要求ごとのサンプリング動作をサポートしている。 投機的デコーディング全体にわたって、SonicSamplerは最先端のベースラインに対して最大$textbf16xのスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 27.358689380362964
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Sampling in LLM inference comprises a combinatorial set of logit processing, token selection, and verification operations for speculative decoding. However, existing implementations either accelerate only subsets of this pipeline, rely on multiple kernel launches, or assume homogeneous sampling behavior across a batch, limiting support for dynamic serving workloads and preventing efficient CUDA Graph execution. We present $\textbf{SonicSampler}$, a unified suite of tile-aware Triton kernels that vertically fuses the complete sampling pipeline into a fixed, workload-aware execution model. Our kernels support dynamic per-request sampling behaviors, including grammar-constrained decoding, repetition, frequency and presence penalties, logit bias, temperature scaling, top-$k$ / top-$p$ / min-$p$ filtering, and speculative verification - within a single batched kernel while remaining fully CUDA Graph-compatible. Central to our approach is a novel hierarchical two-stage top-$k$ algorithm that achieves up to $\textbf{10x speedup}$ over competitive baselines and exploits the low-entropy structure of LLM outputs to enable efficient selection over large vocabularies. Across heterogeneous speculative decoding workloads, SonicSampler achieves up to $\textbf{16x speedup}$ over state-of-the-art baselines while preserving flexible batched execution.
• Abstract（参考訳）: LLM推論におけるサンプリングは、複合的なロジット処理、トークン選択、投機的復号化のための検証操作を含む。 しかし、既存の実装はパイプラインのサブセットのみを加速し、複数のカーネルの起動に依存するか、バッチ全体にわたって均質なサンプリング動作を仮定し、動的サービスワークロードのサポートを制限し、効率的なCUDA Graphの実行を阻止する。 We present $\textbf{SonicSampler}$, a unified suite of tile-aware Triton kernels which is verticallyfuses the complete sample pipeline into a fixed, workload-aware execution model。 私たちのカーネルは、文法制約付き復号化、繰り返し、頻度と存在のペナルティ、ロジットバイアス、温度スケーリング、トップ$k$ / top-$p$ / min-$p$フィルタ、投機的検証など、動的に要求毎のサンプリング動作をサポートします。 我々のアプローチの中心は、競争ベースラインよりも最大$\textbf{10x speedup}$を達成し、LLM出力の低エントロピー構造を利用して大きな語彙を効率よく選択できる、新しい階層的な2段階のトップ-$k$アルゴリズムである。 不均一な投機的デコードワークロード全体にわたって、SonicSamplerは、柔軟なバッチ実行を保ちながら、最先端のベースライン上で最大$\textbf{16x speedup}$を達成する。

関連論文リスト

• FluxBin: Flexible LUT-based Ultra-low-bit LLM Inference by Algorithm-Kernel Synergy [32.21687694159134]
  FluxBinは高度に最適化されたカーネルとバイナリ量子化を合成するアルゴリズムである。 FluxBinは最大5.92ドルのスピードアップと10.19ドルの省エネを達成する。 これにより、70Bスケールのモデルを1つのA100ベースにデプロイし、メモリを4倍に削減できる。
  論文  参考訳（メタデータ） (2026-08-16T08:01:06Z)
• TELLER: Non-intrusive Cross-Layer Root-Cause Analysis for LLM Inference [47.62941623025392]
  本稿では,非侵入的でログ対応なLLM推論フレームワークであるTELLERについて紹介する。 TELLERはモデルバイナリを変更することなく、NVTX/CUPTIトレースとサービスログを収集する。 リクエスト毎のコールチェーンツリーを再構築し、ログ行と対応する実行ステップをアライメントする。 これらの表現に加えて、TELLERは数値的候補のローカライゼーションとマルチモーダルな根起因モデルを組み合わせる。
  論文  参考訳（メタデータ） (2026-08-03T09:39:11Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
  音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。 共有直観自由誘導(CFG)のスループットを克服する。 連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
  論文  参考訳（メタデータ） (2026-07-02T12:55:11Z)
• Accelerating Discrete Diffusion Models with Parallel-In-Time Sampling [55.388363730120325]
  本研究では,CTMC(Continuous-Time Markov Chain)フレームワークにおいて,離散拡散を吸収するための$-leapingアルゴリズムを並列化する。 我々は,$$-leapingアルゴリズムとPicard法の連続時間積分形式を利用して,並列時間サンプリング高速化を実現する。 本研究は, 分子構造や言語生成などの応用において, 効率的な並列推論のための離散拡散モデルの可能性を広げるものである。
  論文  参考訳（メタデータ） (2026-07-01T10:59:33Z)
• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
  FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。 H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。 エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
  論文  参考訳（メタデータ） (2026-03-16T19:37:08Z)
• Hardware-Agnostic Modeling of Quantum Side-Channel Leakage via Conditional Dynamics and Learning from Full Correlation Data [0.0]
  本研究では,敵プローブキュービットが隠れゲートシーケンス中にターゲットキュービットと相互作用するシーケンシャルサイドチャネルモデルについて検討する。 同じシークエンスを$N$ショットで繰り返すと、経験的な完全相関レコードが得られる。 広帯域結合とノイズグリッドの実験により、予測された結合帯域付近で厳密なシーケンス回復が集中していることが示されている。
  論文  参考訳（メタデータ） (2026-02-17T19:33:23Z)
• Parallel Sampling via Autospeculation [13.643401888306398]
  我々は,任意の順序の自己回帰モデルと拡散モデルという2つの設定において,サンプリングを高速化するアルゴリズムを提案する。 オラクルコールを並列に発行することで、期待されるサンプリング時間を$widetildeO(n1/2)$に削減できることを示す。 我々は投機的拒絶サンプリングという新しい手法を導入する。
  論文  参考訳（メタデータ） (2025-11-11T06:09:44Z)
• Learning to Parallel: Accelerating Diffusion Large Language Models via Learnable Parallel Decoding [21.609237262034636]
  大規模言語モデル(LLM)における自己回帰復号には、$n$トークンに対して$mathcalO(n)$シーケンシャルステップが必要である。 本稿では,並列デコード学習(Learn2PD)を提案する。これは軽量かつ適応的なフィルタモデルをトレーニングし,各トークン位置に対して,現在の予測が最終出力と一致するかどうかを予測するフレームワークである。 この学習されたフィルタは、正しく予測された場合にのみトークンをアンマスクするオラクル並列復号法を近似する。
  論文  参考訳（メタデータ） (2025-09-29T17:59:54Z)
• Boundary-aware Decoupled Flow Networks for Realistic Extreme Rescaling [49.215957313126324]
  Invertible rescaling Network (IRN) やgenerative adversarial Network (GAN) などを含む最近の生成手法は、画像再スケーリングにおいて例外的な性能を示した。 しかし、IRNベースの手法は過度に滑らかな結果を生成する傾向にあり、一方、GANベースの手法は偽の細部を容易に生成する。 本稿では,現実的かつ視覚的に満足な結果を生成するために,境界対応デカップリングフローネットワーク(BDFlow)を提案する。
  論文  参考訳（メタデータ） (2024-05-05T14:05:33Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。