論文の概要: Non-Uniform L2 Cache Latency Across the Streaming Multiprocessors of an NVIDIA L40
- arxiv url: http://arxiv.org/abs/2606.22588v1
- Date: Sun, 21 Jun 2026 16:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:29:37.747349
- Title: Non-Uniform L2 Cache Latency Across the Streaming Multiprocessors of an NVIDIA L40
- Title（参考訳）: NVIDIA L40のストリーミングマルチプロセッサにおける不均一L2キャッシュレイテンシ
- Authors: Faruk Alpay, Baris Basaran,
- Abstract要約: NVIDIA L40は96MiB L2キャッシュを公開する。
L2-hitレイテンシは、物理ストリーミングマルチプロセッサ(SM)がどの負荷に対処するかに強く、再現的に依存します。
ターンシリアライズされた %smid-resolved プローブは、1回の打ち上げで142個のSMの全てのヒット遅延をマッピングする。
- 参考スコア（独自算出の注目度）: 0.2864713389096699
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The NVIDIA L40 exposes a 96 MiB L2 cache usually modeled as one uniform pool with a single hit latency. We show this is wrong at the granularity a kernel sees: L2-hit latency depends strongly and reproducibly on which physical streaming multiprocessor (SM) issues the load. A turn-serialized, %smid-resolved probe maps the hit latency across all 142 SMs in one launch; it is not a constant near 279 cycles but spans 222-339 cycles (a 52% range), with per-repetition noise below 0.01 cycles. An additive model $L = μ+ a(\mathrm{sm}) + b(\mathrm{slice})$ explains $R^2 = 0.87$ (0.98 with one rank-1 term), and the SM term is two-fold symmetric (two halves of 72 SMs at correlation $r = 0.999$), following the AD102 GPC layout. Independent access patterns agree per SM at $r = 1.000$, so the effect is physical. The same probe on a Blackwell RTX 5090 shows it generalizes, while the per-die pattern is device-specific. Read as a fingerprint, a single user-level probe identifies the SM within a device at 92%, and two physically identical L40s are separated at 100% despite near-identical mean latency (per-SM map $r = 0.63$): a per-die hardware identity, not a clock artifact. This is a self-localization and fingerprinting primitive: a kernel reads its own placement and device, not a victim's, and extracts no secret data. The map is stable, unchanged after an hour at full utilization on both devices. As a consequence, distributing latency-bound work by the map cuts makespan by up to 11%. Single-thread capacity, line-tag, prefetch-modifier, and persisting-L2 results appear as controls. The artifact contains seeds, raw observations, the trained model, and regeneration scripts.
- Abstract（参考訳）: NVIDIA L40は96MiB L2キャッシュを公開する。
L2-hitレイテンシは、物理ストリーミングマルチプロセッサ(SM)がどの負荷に対処するかに強く、再現的に依存します。
ターンシリアライズされた %smid-resolved プローブは、1回の打ち上げで142個のSMの全てのヒット遅延をマッピングするが、これは279サイクル近くではなく、222-339サイクル(52%の範囲)にまたがっており、繰り返しノイズは0.01サイクル以下である。
加法モデル $L = μ+ a(\mathrm{sm}) + b(\mathrm{slice})$ は、$R^2 = 0.87$ (0.98 with one rank-1 term) を説明し、SM項は、AD102 GPCレイアウトに従って、2倍対称(相関$r = 0.999$で72 SMの2ハーフ)である。
独立アクセスパターンは、SM毎に$r = 1.000$で一致するので、その効果は物理的である。
Blackwell RTX 5090の同じプローブは一般化を示し、ダイパターンはデバイス固有のものである。
指紋として読み取ると、単一のユーザーレベルのプローブがデバイス内のSMを92%で識別し、2つの物理的に同一のL40を100%分離する。
これは自己ローカライズとフィンガープリントのプリミティブで、カーネルは被害者ではなく、自身の配置とデバイスを読み出し、秘密データを抽出しない。
マップは安定しており、両方のデバイスでフル活用すると1時間後に変更される。
その結果、マップによるレイテンシバウンドな作業の分散は、マインパンを最大11%削減する。
シングルスレッドのキャパシティ、行タグ、プリフェッチ修飾子、そしてsepenting-L2の結果がコントロールとして表示される。
アーティファクトには種、生の観察、訓練されたモデル、再生スクリプトが含まれている。
関連論文リスト
- Memory-Bound but Not Bandwidth-Limited: The Physical AI Inference Gap in Batch-1 LLM Decode [0.0]
物理AIシステムは、クラウドのLLMサービスとは異なるワークロードを実行する。
4つのNVIDIA GPUにわたる7から8BクラスのGQA変換器のバッチ1デコードを測定する。
ピーク帯域幅はピーク帯域幅が増加するにつれて減少する。
論文 参考訳（メタデータ） (2026-05-28T21:03:14Z) - Hardware Validation of DAGI via a Modular "Ridge" Signature and High-Order Synergistic Information [0.0]
IBM Quantumハードウェア上でのDAGI(Directed Acyclic Graph Information)フレームワーク。
理想的な出力分布が低次元モジュラー多様体(リッジ)に制約される小さな制御された実験
キーリカバリはチャンスを超えた:ショット毎の精度0.1689(チャンス0.125,95% Wilson CI[0.1610, 0.1772])
これらの結果は、DAGIが非自明でハードウェアに耐性のある情報構造を検出し、定量化するという主張を支持する。
論文 参考訳（メタデータ） (2026-04-16T14:16:59Z) - Breaking the KV Cache Bottleneck: Fan Duality Model Achieves O(1) Decode Memory with Superior Associative Recall [0.0]
Fan Duality Modelは、シーケンスモデリングにおけるメモリ効率と連想リコールの間の緊張を解消する。
FDMはシーケンス処理を、長距離パターンを隠蔽状態に圧縮する波動成分と、特定のトークンを取得する粒子成分の2つのコンポーネントに分割する。
本稿では,再帰的なスキャンを凍結し,キャッシュを埋め込みと共に最適化する2段階のトレーニング戦略であるFreeze-Scanを提案する。
論文 参考訳（メタデータ） (2026-04-09T02:00:30Z) - FlashSampling: Fast and Memory-Efficient Exact Sampling [62.5203057469482]
FlashSamplingは正確なサンプリングプリミティブで、LMヘッドのマトゥルにサンプリングを融合し、ロジットテンソルを生成しない。
H100、H200、B200、B300 GPU全体で、FlashSamplingはカーネルレベルのデコードワークロードを高速化する。
エンドツーエンドのvLLM実験では、テストしたモデルで出力トークン当たりの時間を最大19%削減します。
論文 参考訳（メタデータ） (2026-03-16T19:37:08Z) - Dimension-free Private Mean Estimation for Anisotropic Distributions [55.86374912608193]
以前の$mathRd上の分布に関する民間推定者は、次元性の呪いに苦しむ。
本稿では,サンプルの複雑さが次元依存性を改善したアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-11-01T17:59:53Z) - SKI to go Faster: Accelerating Toeplitz Neural Networks via Asymmetric
Kernels [69.47358238222586]
Toeplitz Neural Networks (TNN) は、印象的な結果を持つ最近のシーケンスモデルである。
我々は, O(n) 計算複雑性と O(n) 相対位置エンコーダ (RPE) 多層パーセプトロン (MLP) と減衰バイアスコールの低減を目指す。
双方向モデルの場合、これはスパースと低ランクのToeplitz行列分解を動機付ける。
論文 参考訳（メタデータ） (2023-05-15T21:25:35Z) - Sharper Convergence Guarantees for Asynchronous SGD for Distributed and
Federated Learning [77.22019100456595]
通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。
本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。
また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
論文 参考訳（メタデータ） (2022-06-16T17:10:57Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。