論文の概要: One Megakernel is Not Enough: Predicting Where to Cut for Streaming Inference
- arxiv url: http://arxiv.org/abs/2610.35336v1
- Date: Mon, 26 Oct 2026 12:32:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.927101
- Title: One Megakernel is Not Enough: Predicting Where to Cut for Streaming Inference
- Title（参考訳）: ひとつのメガカーネルは、ストリーミング推論のどこをカットすべきかを予測する
- Abstract要約: 最良構成は、重複する従来のグラフ成分を持たない複数のメガカーネルの合成であることを示す。
3つの特別なメガカーネルを保存することで、カーネル境界を追加してもレイテンシとスループットが向上することを示した。
- 参考スコア（独自算出の注目度）: 0.13610607085612708
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address a fundamental question: How far should kernel fusion extend and which boundaries are worth preserving? Unlike the general convention of using one monolith megakernel at lower batch sizes or supporting only a selective model component as megakernel and rest of the model as conventional graph, we show that the best configuration is a composition of multiple megakernels with no overlapping conventional graph component, or a fully conventional graph. We present a framework that selects megakernel regions in a streaming inference model from conventional-graph profiles and standalone kernel benchmarks, without running any candidate design end to end. It simulates each candidate's tile and event graphs to predict time to first output and selects the measured best design in all 13 combinations of model and batch size we tested. Across NH-TTS, Qwen3-TTS and Llama-1B, the best composition ranges from two to four megakernels to fully conventional execution and none is a single megakernel. We introduce four model categories (megakernel-stable/ receding/ advancing/ averse) that capture how a model's best megakernel composition changes with batch size. Using NH-TTS model on H100 NVL GPU, we demonstrate that preserving three specialized megakernels can improve both latency and throughput despite introducing additional kernel boundaries. At batch size 32, this design delivers 21.4% lower mean batch-p95 time to first audio (TTFA) and 28% higher throughput than the evaluated monolith megakernel. Against conventional TensorRT graph execution, it reduces engine-level mean batch TTFA p95 by 4.05x and increases throughput by 19.7%.
- Abstract（参考訳）: 核融合はどこまで延長されるべきで、どの境界が保存に値するのか?
低バッチサイズで1つのモノリス・メガカーネルを使用する一般的な慣習と異なり、選択モデルコンポーネントのみをメガカーネルとしてサポートし、残りのモデルを従来のグラフとしてサポートするという一般的な慣習とは異なり、最もよい構成は、重複する従来のグラフコンポーネントを持たない複数のメガカーネルの合成、あるいは完全に従来のグラフであることを示す。
本稿では,従来のグラフプロファイルやスタンドアロンカーネルベンチマークから,ストリーム推論モデルにおけるメガカーネル領域を選択するフレームワークを提案する。
これは、各候補のタイルとイベントグラフをシミュレートし、最初に出力する時間を予測し、テストした13のモデルとバッチサイズの組み合わせで測定された最良の設計を選択する。
NH-TTS、Qwen3-TTS、Llama-1Bの他、最も優れた構成は2から4メガカーネルから完全に従来の実行までで、いずれも単一のメガカーネルではない。
モデルで最高のメガカーネル構成がバッチサイズでどのように変化するかを把握する4つのモデルカテゴリ(メガカーネル・安定/後退/進行/逆)を紹介します。
H100 NVL GPU上のNH-TTSモデルを用いて、3つの特別なメガカーネルを保存することで、カーネル境界を追加してもレイテンシとスループットが向上することを示した。
バッチサイズ32では、この設計は平均バッチ-p95時間を最初のオーディオ(TTFA)に21.4%低くし、モノリスのメガカーネルよりも28%高いスループットを提供する。
従来のTensorRTグラフの実行に対して、エンジンレベルの平均バッチTTFA p95を4.05倍削減し、スループットを19.7%向上させる。
関連論文リスト
- TurboT2VA: Fast Large-Scale Text-to-Video-Audio Generation via Score-Regularized Consistency Distillation [105.14745366152725]
TurboT2VAは、ジョイントテキスト・ツー・ビデオ・オーディオ生成のための蒸留および推論フレームワークである。
LTX-2では、4段階の蒸留により512$times$768の標準評価解像度でジェネレータのレイテンシを50.52sから2.51sに短縮する。
完全なスタックは、ジェネレータのレイテンシを318.74sから1つのNVIDIA H20で5.83sに短縮し、54.67$times$ジェネレータのみのスピードアップを達成した。
論文 参考訳（メタデータ） (2026-08-25T15:09:02Z) - DiffusionGemma Technical Report [72.10570774996219]
DiffusionGemma(ディフュージョン・ジェマ)は、離散拡散を用いてテキストを生成する言語モデルである。
DiffusionGemmaは、一度に1つのトークンをデコードする代わりに、256個のトークンのブロックを並列に繰り返し洗練する。
私たちの計算効率の良い2段階トレーニングパイプラインは、開始したARモデルの総トレーニングトークン予算の10%未満を使用します。
論文 参考訳（メタデータ） (2026-07-31T16:11:46Z) - DepthART: Scaling Foundation Monocular Depth to Tiny Models [51.10174763031444]
DepthARTは、様々なシーンにまたがるデバイス上のデプロイメントのためのコンパクトなMDEモデルである。
ゼロショット一般化とメートル法精度の両方において、DepthARTが従来の小さなベースラインを一貫して上回っていることを示す。
また、GTX A6000で347/245 FPS (strict FP32)、Orin NX 8GBで2242/4482ドル、102 FPS (TF32)、Jetson Nano 4GBで15 FPS (FP32) に達したスケーラブルなモデルファミリも提供しています。
論文 参考訳（メタデータ） (2026-07-19T06:54:52Z) - Representation Distribution Matching for One-Step Visual Generation [107.84208192304455]
表現分布マッチング(Representation Distribution Matching, RDM)の設計空間の解明
2つの設計軸、分布がどのように比較され、それらの表現が比較されるかを特定し、それに沿って制御された研究によって3つの結果が得られた。
同じレシピは4ステップのFLUX.2[klein]を1ステップのジェネレータに後付けし、GenEvalの4ステップバージョンである0.826から0.794、PickScoreの22.76から22.58を90 H200 GPU時間で上回った。
論文 参考訳（メタデータ） (2026-07-02T16:15:38Z) - Average Rankings Mask Per-Subject Optimality: A Friedman-Nemenyi Benchmark of EEG Motor-Imagery BCI Decoders [0.0]
1,056のデコード構成と340,000の主観レベルモデルを評価した。
すべてのモデルは、単一の参加者の1つのセッションで適合し、テストされます。
最も簡単な体制でも、単一のパイプラインが支配的になることはない。
論文 参考訳（メタデータ） (2026-06-23T10:26:27Z) - RaMP: Runtime-Aware Megakernel Polymorphism for Mixture-of-Experts [0.22625548856057365]
本稿ではルーティング対応のディスパッチフレームワークであるRaMPを紹介する。
RaMPは、静的ディスパッチで1.22倍のカーネルスピードアップと、Tritonで1.41倍、DeepGEMMで1.13倍、FlashInfer CUTLASSで1.30倍のエンドツーエンドスピードアップを提供する。
論文 参考訳（メタデータ） (2026-04-28T18:20:12Z) - Memory-Efficient Acceleration of Block Low-Rank Foundation Models on Resource Constrained GPUs [11.45717904490388]
トランスフォーマーベースの基盤モデルの最近の進歩は、多くのタスクのデフォルト選択となった。
その急速に成長するサイズは、単一のGPUに完全なモデルを適合させることがますます難しくなり、計算コストが禁じられる。
ブロック低ランク(BLR)圧縮技術は、重み行列のコンパクト表現を学習することでこの問題に対処する。
論文 参考訳（メタデータ） (2025-12-24T00:41:13Z) - SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations [54.303301888915406]
混合エキスパートモデル(MoE)は、計算コストを大幅に増加させることなく、言語モデルをスケールアップするためのデファクトアーキテクチャとして登場した。
最小のアクティベーションキャッシングでMoEの前後パスを計算するメモリ効率のアルゴリズムを提案する。
また,グループ化されたGEMMカーネルのパディングによる無駄計算を最小限に抑える新しい「トークンラウンドリング」手法を提案する。
論文 参考訳（メタデータ） (2025-12-16T04:39:10Z) - ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。
3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。
ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
論文 参考訳（メタデータ） (2025-02-04T18:59:26Z) - Fast Inference with Kronecker-Sparse Matrices [4.387337528923525]
KS行列乗算のための既存のGPUカーネルは、高いデータ移動コストに悩まされている。
本稿では、これらのオーバーヘッドを解消する、融合した出力定常GPUカーネルを提案する。
FP32では,VT-S/16では最大22%,GPT-2媒体では16%のレイテンシ低下を示した。
論文 参考訳（メタデータ） (2024-05-23T19:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。