論文の概要: BlockLock: Reproducible LLM Inference with Fixed Batch Geometry
- arxiv url: http://arxiv.org/abs/2611.06977v1
- Date: Wed, 04 Nov 2026 13:40:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.419952
- Title: BlockLock: Reproducible LLM Inference with Fixed Batch Geometry
- Title(参考訳): BlockLock: 固定バッチ幾何学を用いた再現可能なLLM推論
- Abstract要約: LLM推論では、リクエストはバッチ内の他のリクエストに関係なく、同じ出力を生成する必要がある。
私たちはBlockLockを紹介します。これはバッチ化されたプレフィルを共有し、保護されたリクエストの数値パスのみをピンします。
BlockLock-Rowsは、同等の処理でレイテンシを53.5-55.0%削減し、スループットをvLLM Batch-Invariantと比較して115.2-122.2%向上した。
- 参考スコア(独自算出の注目度): 5.507812870703577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reproducible LLM inference requires that a request produces the same output regardless of the other requests in the batch. Existing solutions pay for this in different ways: batch-invariant kernels constrain every operator, and isolating prefill with fixed-shape decode ({our CoRun-style baseline}) gives up shared prefill compute and pads decode. We present BlockLock, which keeps shared batched prefill and pins only the numerical path of the protected request: it fixes the geometry that the request sees, with {two modes: BlockLock-Rows uses fixed-width rows and retains batched decode of all requests; BlockLock-Pack uses terminal-anchored packing with an isolated dummy segment, then extracts the protected request's KV state for target-only decode. Under a stated per-deployment contract, both modes preserve the target's output bitwise when its companions change.} Across five {dense} models (Qwen3-8B/14B, Llama-3.1-8B-Instruct, and Gemma-3-4B/12B-IT) and three single-GPU deployments (NVIDIA A6000, A100, and H100), we evaluate our approach on both tinyBenchmarks and BFCL{; we also include initial tensor-parallel experiments on two NVIDIA A6000 GPUs. Both modes preserve target sequences and Top20-logit bits in the reported tests.} At equal delivered work, {BlockLock-Rows} reduces latency by 53.5--55.0\% and improves throughput by 115.2--122.2\% relative to vLLM Batch-Invariant; compared with batch-invariant kernels, it needs no custom kernel implementations and constrains only the protected requests.
- Abstract(参考訳): 再現可能なLCM推論では、リクエストはバッチ内の他のリクエストに関係なく、同じ出力を生成する必要がある。
バッチ不変カーネルはすべての演算子を制約し、固定形デコード({our CoRun-style baseline})でプリフィルを分離することで、共有プリフィル計算とパッドデコードを与える。
BlockLock-Rowsは固定幅の行を使用し、すべてのリクエストのバッチ化されたデコードを保持する。BlockLock-Packは、独立したダミーセグメントでターミナルアンカレッドパッキングを使用し、保護されたリクエストのKV状態をターゲット専用デコードのために抽出する。
記述されたデプロイ単位の契約の下では、両方のモードは、そのコンパニオンが変化するときにターゲットの出力をビット単位で保持する。
} 5つの {dense} モデル (Qwen3-8B/14B, Llama-3.1-8B-Instruct, Gemma-3-4B/12B-IT) と3つのシングルGPUデプロイメント (NVIDIA A6000, A100, H100) にわたって,我々は小ベンチマークとBFCL{に対するアプローチを評価した。
どちらのモードも、報告されたテストでターゲットシーケンスとトップ20-logitビットを保持する。
BlockLock-Rows} は vLLM Batch-Invariant と比較してレイテンシを 53.5-55.0 % 削減し、スループットを 115.2--122.2 % 改善している。
関連論文リスト
- PBPO: Prefix-Block Policy Optimization for Diffusion Language Models [52.4950380950033]
ブロックレベル条件を保存するプリフィックス・ブロックポリシー最適化(PBPO)を導入するが、各トークンに対して重み付けとクリッピングを個別に適用する。
PBPOは既存のdLLM RL法と競合する性能を発揮する。
論文 参考訳(メタデータ) (2026-11-05T10:20:41Z) - SpecPilot: Autonomous Algorithm Discovery and Systems Optimization for Speculative Decoding [56.465476123939816]
デプロイ毎にアルゴリズムとシステム最適化を検出する,自律エージェントループであるSpecPilotを提案する。
対象モデルを4つ,ドラフト3つ,プラットフォーム2つ,ベンチマーク5つに分けて評価した。
論文 参考訳(メタデータ) (2026-11-02T04:21:47Z) - One Block Ahead: Promoting Sampler State in Diffusion Language Models [99.46600508506799]
ブロック拡散言語モデルはトークンの位置のブロック全体を並列に識別し、各フォワードパスは多数のトークンを出力する。
学習不要な復号アルゴリズムであるOne Block Ahead (OBA)を提案する。
論文 参考訳(メタデータ) (2026-10-14T03:28:31Z) - Dissecting GPU Utilization for LLM Inference on Nvidia Hopper [2.356912719241652]
単一のSM利用率により、LSM推論ワークロードは計算飽和に見える。
我々は,通常の単一利用回数を,生のNsight Computeレポートから得られた8つの逆バリデーションビューに置き換える。
論文 参考訳(メタデータ) (2026-09-11T14:49:05Z) - LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。
我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-26T12:13:05Z) - FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。
2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。
LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
論文 参考訳(メタデータ) (2026-07-20T08:05:03Z) - BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference [15.424211656458453]
拡散言語モデルは、複数のトークン位置を並列に反復的に認知することでテキストを生成する。
小さなブロックはローカル条件を保存するが、多くのデノーミングステップを必要とするが、大きなブロックはより並列性を公開するが、早期のコミットとキャッシュエラーを蓄積することができる。
バッチ転送パス内で同じリクエストに対して複数のブロックサイズのブランチを実行する,トレーニング不要なオンライン推論フレームワークであるBlockBatchを提案する。
論文 参考訳(メタデータ) (2026-05-28T01:48:29Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2026-03-12T16:00:22Z) - Batch Speculative Decoding Done Right [6.388537448371643]
投機的復号化は、小さなドラフトモデルを用いてLLM推論を高速化し、ターゲットモデルが並列に検証する複数のトークンを提案する。
同じバッチ内のシーケンスは、異なる数のドラフトトークンを受け取り、右アライメントを破り、位置IDを破損させ、アテンションマスク、KV-cache状態となる。
いくつかの既存のバッチ実装が出力等価性に反していることが示され、投機的復号化は標準的な自己回帰生成と同一のトークンシーケンスを生成する必要があるという基本的な要件が示される。
論文 参考訳(メタデータ) (2025-10-26T23:59:23Z) - Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss [59.835032408496545]
本稿では, コントラスト損失計算を任意の小ブロックに分割するタイルベースの戦略を提案する。
分散システムの階層構造を活用するためのマルチレベルタイリング戦略も導入する。
SOTAメモリ効率のソリューションと比較すると、同等の速度を維持しながら、メモリの2桁の削減を実現している。
論文 参考訳(メタデータ) (2024-10-22T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。