論文の概要: Unlocking Turing Tensor Cores: A Measured Throughput Account of From-Scratch Pre-training on a Single 22G RTX 2080 Ti
- arxiv url: http://arxiv.org/abs/2611.05419v1
- Date: Mon, 02 Nov 2026 02:51:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.803811
- Title: Unlocking Turing Tensor Cores: A Measured Throughput Account of From-Scratch Pre-training on a Single 22G RTX 2080 Ti
- Title（参考訳）: アンロック・チューリング・テンソルコア:22G RTX 2080 Ti単板のアウトスクラッチ事前トレーニングにおけるアウトスクラッチのアウトスループット
- Abstract要約: 22G 2080 Ti (TU102) はフル第2世代のテンソルコアをハードウェアで出荷するが、ベンダーはFP16行列の乗算をドライバレベルで妨げている。
アンロックゲイン(アンロックゲイン)は、行列サイズの関数であり、層とともに単調に上昇し、小さな上から見え、小さな2桁のパーセンテージでキャッシュアウトされる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The RTX 2080 Ti (TU102) ships full second-generation Tensor Cores in hardware, yet the vendor throttles FP16 matrix multiplication at the driver level, leaving usable tensor throughput well below the hardware peak. turing-unlock lifts this restriction with a kernel module that, before the nvidia driver binds the device, writes the FP16 speed selectors (SS0=0x88888888, SS1=0x8) and releases the ACR mutex; published measurements report cuBLAS FP16 matmul throughput rising from 55.7 to 91.4 TFLOPS (about 1.6x). On the same 22G 2080 Ti and under the same from-scratch pre-training protocol as the companion memory ledger (five tiers of Chinese encoder-decoder models, 2,451 steps per tier, 16,384 tokens per step, seed 42), we obtain a before/after throughput account: the small tier (75.7M parameters, 512-wide, 8+8 layers, activation checkpointing on) improves in steady-state throughput from 6,480 to 7,246 tok/s (+11.8%) with wall time cut from 1.77h to 1.61h (9.0% saved); the tiny tier goes from 15,150 to 15,866 tok/s (+4.7%) with wall time savings of 3.8%; the three smaller tiers (pico-micro) gain at most +0.3%; per-tier peak memory stays bit-identical, and final quality metrics are bit-identical or consistent within 10^-3. We conclude that the unlock gain is a function of matrix size, rising monotonically with tier -- imperceptible for pico-micro, visible from tiny upward, and cashed out as a double-digit percentage at small -- and that it is a pure throughput gain that leaves training dynamics untouched.
- Abstract（参考訳）: RTX 2080 Ti (TU102) は第2世代のTensor Coreをハードウェアで搭載するが、ベンダーはFP16行列の乗算をドライバレベルで制限し、使用可能なテンソルスループットはハードウェアピークよりかなり低い。
チューリングアンロックはこの制限を、nvidiaドライバがデバイスにバインドする前にFP16スピードセレクタ(SS0=0x88888888, SS1=0x8)を書き、ACRミューテックスを放出するカーネルモジュールで持ち上げる。
同じ22G 2080 Tiと、同伴するメモリ台帳と同じ非スクラッチ事前トレーニングプロトコル(中国エンコーダデコーダモデルの5層、2,451ステップ、1ステップあたり16,384トークン、シード42)では、前/後のスループットアカウントを得る: 小さな層(75.7Mパラメータ、512幅、8+8層、アクティベーションチェックポイントなど)は、定常状態のスループットを6,480から7,246 tok/s(+11.8%)に改善し、壁の時間を1.77hから1.61h(9.0%)に短縮する。
アンロックゲインは行列サイズの関数であり、層とともに単調に上昇する -- ピコマイクロでは受け入れられず、上向きから小さく見え、小さな2桁のパーセンテージとして現金化されている -- と結論付け、トレーニングのダイナミクスを無傷で残す純粋なスループットゲインである。
関連論文リスト
- Extreme Compression of Per-Layer Embeddings via Cross-Layer Latent Vector Quantization [73.31438661879197]
Gemma 4 E4B のパラメータの35.2%を占める Per-Layer Embeddings (PLE) の極端な圧縮について検討した。
このような速度で、従来の量化器は各トークン層ベクトルに数バイトの独自の符号を与える。
我々は,トークン毎に1つの量子化されたコードを格納し,それを各層でデコードするOPTIC-Output-Path-fited,Token-Shared Indexed Codesを開発した。
論文 参考訳（メタデータ） (2026-10-22T14:07:01Z) - VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention [47.30761996669105]
トレーニング不要な低ビットアテンションフレームワークであるVC-Attentionを提案する。
V-Smoothは、オンラインの軽量クラスタリングによってバリュートークンを再注文するので、融合ハードウェアブロック内のトークンは、共に量子化される。
ログドメインのスコアを直接E4M3確率符号に1つの融合乗算加算でマッピングし、FP32指数関数とフォーマット変換を排除した。
論文 参考訳（メタデータ） (2026-09-14T16:17:35Z) - What Input Resolution Is Required for Bird Species Identification, and What Is Its Latency Cost on an Edge Device? A Study of 14 Input Resolutions and Six Architectures with On-Device Measurements [0.060917028769172786]
風力発電所における鳥害の軽減には、数万ピクセルにしか及ばない遠方の鳥を識別する必要がある。
14側長さのN(16～224),6つのアーキテクチャ,2つのトレーニング・評価体制,30個のランダムシードを用いて検討した。
論文 参考訳（メタデータ） (2026-09-13T02:52:42Z) - Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson [35.18016233072556]
NVIDIA Jetson Orin Nano Super (8GB) で完全に動作する2次元SO-101システムを提案する。
我々は、NVMMバッファによってバックアップされたGStreamerキャプチャパイプラインを構築し、3つのカメラセンシングから冗長なホストデバイスコピーを取り除く。
我々は、ACTと拡散政策を同一のデモンストレーションで訓練し、それぞれが独自の基準予算で実施する。
論文 参考訳（メタデータ） (2026-08-04T17:09:41Z) - RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。
これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。
128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
論文 参考訳（メタデータ） (2026-06-23T00:17:48Z) - From Compression to Deployment: Real-Time and Energy-Efficient FastGRNN on Ultra-Constrained Microcontrollers [0.0]
本稿では、2つのベアメタルターゲット上に配置されたコンパクトゲートセルであるFastGRNNのエンドツーエンドのオープンソース再生について述べる。
このモデルは重量566バイトを占め、HAPTテストセット上でマクロF1 = 0.918(シード0; 5シードQ15は0.853+-0.107)を達成する。
どちらのプラットフォームも、リアルタイム50Hzのストリーミング推論(Arduinoでは9.21ms、MSP430では13ms)を維持しており、256エントリのシグモイド/タンのルックアップテーブルは30.5倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-06-15T19:49:38Z) - Holding the FP8 Quality Ceiling at 8-Bit Weights and Activations: INT8 and GGUF Post-Training Quantization of Ideogram 4.0 for Consumer GPUs [0.08599681538174887]
9.3Bフローベース拡散変圧器(DiT)Ideogram 4.0の学習後量子化について検討する。
我々は、Ideogramの公開キャプション仕様に組み込んだ拡張器によって生成されたスキーマ値プロンプトに基づいて、すべての変種を評価する。
We release the INT8 W8A8 and GG Q4_K Quantized weights on Hugging under a gated, non-commercial license。
論文 参考訳（メタデータ） (2026-06-10T16:19:49Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - Fast Inference with Kronecker-Sparse Matrices [4.387337528923525]
KS行列乗算のための既存のGPUカーネルは、高いデータ移動コストに悩まされている。
本稿では、これらのオーバーヘッドを解消する、融合した出力定常GPUカーネルを提案する。
FP32では,VT-S/16では最大22%,GPT-2媒体では16%のレイテンシ低下を示した。
論文 参考訳（メタデータ） (2024-05-23T19:36:10Z) - Fast-iTPN: Integrally Pre-Trained Transformer Pyramid Network with Token
Migration [138.24994198567794]
ITPNは2つの精巧な設計で生まれ、1)視覚変換器を用いた最初の事前訓練型特徴ピラミッド(ViT)である。
Fast-iTPNは推論手順を最大70%高速化でき、性能損失は無視できる。
論文 参考訳（メタデータ） (2022-11-23T06:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。