論文の概要: Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack

• arxiv url: http://arxiv.org/abs/2608.18182v1
• Date: Tue, 18 Aug 2026 06:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.171921
• Title: Efficient INT8 Inference of Small NLP Models on Server CPUs with PyTorch Native Stack
• Title（参考訳）: PyTorchネイティブスタックを用いたサーバCPU上での小型NLPモデルの効率的なINT8推論
• Abstract要約: 我々は、SmoothQuantをTorchAOに統合し、Intel Xeon CPUの推論パスを最適化する。 BERT、DistilBERT、XLM-RoBERTaベンチマーク全体で、このアプローチはエンドツーエンドのスループットを最大5.8倍に向上させる。 実装はPyTorchとTorchAOにアップストリームされ、ネイティブのPyTorchツールによるアウト・オブ・ボックスのデプロイが可能になった。
• 参考スコア（独自算出の注目度）: 1.7900262205172117
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small NLP models, especially BERT-family encoders, remain important in industrial workloads such as classification, ranking, and retrieval even in the era of large language models. On server CPUs, INT8 quantization offers an attractive latency-throughput-cost trade-off, but users increasingly expect such acceleration to be available directly in the native PyTorch stack. We integrate SmoothQuant into TorchAO and optimize the resulting inference path for Intel Xeon CPUs through graph-level fusion in TorchInductor and efficient INT8 GEMM kernel selection across oneDNN-, AVX512_VNNI-, and AMX-based implementations. Across BERT, DistilBERT, and XLM-RoBERTa benchmarks, the approach delivers up to 5.8x end-to-end throughput speedup with negligible---and in some cases no measurable---accuracy loss relative to the FP32 baseline. We also validated our work by detailed performance analysis with roofline models. The implementation has been upstreamed to PyTorch and TorchAO, enabling out-of-the-box deployment with native PyTorch tooling
• Abstract（参考訳）: 小型のNLPモデル、特にBERTファミリーエンコーダは、大規模言語モデルの時代においても、分類、ランキング、検索といった産業ワークロードにおいて重要な存在である。 サーバCPU上では、INT8量子化は遅延処理のスループットとコストのトレードオフを魅力的なものにしますが、ネイティブのPyTorchスタックで直接、そのようなアクセラレーションが利用可能になることを期待しています。 我々は、SmoothQuantをTorchAOに統合し、TorchInductorのグラフレベル融合と、1DNN-、AVX512_VNNI-、AMXベースの実装間の効率的なINT8 GEMMカーネル選択により、Intel Xeon CPUの推論パスを最適化する。 BERT、DistilBERT、XLM-RoBERTaのベンチマークでは、この手法は最大5.8倍のスループットと無視可能なスループットを実現している。 また,屋上モデルを用いた詳細な性能解析により,本研究の検証を行った。 実装はPyTorchとTorchAOにアップストリームされ、ネイティブのPyTorchツールによるアウト・オブ・ボックスのデプロイが可能になった。

関連論文リスト

• PQLS: A High-Performance Python Library for Steady-State Simulation of Open Quantum Systems [10.147189413937761]
  PQLSは、リンドブラッドマスター方程式の定常解を計算するための高性能Pythonライブラリである。 JAX と XLA 上に構築されており、大きなパラメータスイープのベクトル化およびハードウェアアクセラレーションによる計算を可能にする。 PQLSはCPUとGPUプラットフォーム上でQuTiP、QuTiP-JAX、RydIQuleに対してベンチマークされている。
  論文  参考訳（メタデータ） (2026-09-11T00:30:31Z)
• LiZAD: A Lightweight Zero-Shot Anomaly Detection Framework for Industrial Manufacturing [17.337519621522727]
  LiZADは、エッジデバイスでの使用に適したリアルタイムZSAD用に設計された軽量フレームワークである。 平均メモリダウンは61.5%、パラメータダウンは74.6%、スピードアップは3.02倍である。 NVIDIAのJetson NXとJetson AGXのエッジデバイスに配備され、ヴェローナ大学のインダストリアル・コンピュータ・エンジニアリング・ラボ(ICE Lab)の実際の生産ラインでテストされている。
  論文  参考訳（メタデータ） (2026-07-02T09:40:42Z)
• INT v.s. FP: A Comprehensive Study of Fine-Grained Low-bit Quantization Formats [51.72056104795248]
  NvidiaのBlackwellアーキテクチャのような現代のAIハードウェアは、低精度浮動小数点(FP)フォーマットをますます受け入れている。 本稿では,FPフォーマットと整数(INT)フォーマットのトレードオフを系統的に検討する。 FPは粗粒度量子化に優れるが、きめ細かい(ブロックワイド)レベルでの比較はよりニュアンスが高い。
  論文  参考訳（メタデータ） (2025-10-29T15:11:53Z)
• TorchAO: PyTorch-Native Training-to-Serving Model Optimization [30.06590178825442]
  我々はPyTorchネイティブモデル最適化フレームワークであるTorchAOを紹介した。 TorchAOは、FP8量子化トレーニング、量子化対応トレーニング(QAT)、ポストトレーニング量子化(PTQ)、2:4スペーサリティなど、さまざまな一般的なモデル最適化技術をサポートしている。
  論文  参考訳（メタデータ） (2025-07-21T22:50:12Z)
• PyGim: An Efficient Graph Neural Network Library for Real Processing-In-Memory Architectures [10.047157906258196]
  実PIMシステム上でグラフニューラルネットワークを高速化する,効率的なMLライブラリであるPyGimを紹介する。 我々は、計算集約型およびメモリ集約型カーネルをプロセッサ中心およびメモリ中心のシステムで実行するハイブリッドGNN実行を提供する。 我々は、1992年のPIMコアを持つ実世界のPIMシステム上で、新しいGNNモデルを用いてPyGimを広範囲に評価し、Intel Xeonの最先端CPUを平均3.04倍に上回っていることを示す。
  論文  参考訳（メタデータ） (2024-02-26T16:52:35Z)
• Green AI: A Preliminary Empirical Study on Energy Consumption in DL Models Across Different Runtime Infrastructures [56.200335252600354]
  トレーニング済みのモデルを、ネイティブな開発環境とは異なる環境にデプロイするのは、一般的なプラクティスです。 これにより、インフラを含むONNXや標準フォーマットとして機能するONNXなどの交換フォーマットが導入された。
  論文  参考訳（メタデータ） (2024-02-21T09:18:44Z)
• An Efficient Sparse Inference Software Accelerator for Transformer-based Language Models on CPUs [12.883586189626431]
  トランスフォーマーベースの言語モデルは、自然言語処理タスクの標準的なアプローチとなっている。 既存のほとんどのニューラルネットワーク推論ランタイムは、構造化されたスパーシリティを適切にサポートしていない。 本稿では,トランスフォーマーに基づく言語モデルのための効率的なスパース深層学習ソフトウェアスタックを提案する。
  論文  参考訳（メタデータ） (2023-06-28T23:55:51Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• I-BERT: Integer-only BERT Quantization [78.43819756382103]
  トランスフォーマーモデルのための新しい量子化手法であるI-BERTを提案する。 I-BERTは浮動小数点演算なしでエンドツーエンドの整数のみのBERT推論を実行する。 いずれの場合も,I-BERTは全精度ベースラインと同等(かつ若干高い)精度が得られた。
  論文  参考訳（メタデータ） (2021-01-05T02:42:58Z)
• DFTpy: An efficient and object-oriented platform for orbital-free DFT simulations [55.41644538483948]
  本稿では、Python 3で完全に書かれたOFDFTを実装したオープンソースソフトウェアであるDFTpyを紹介する。 本稿では,1CPUで計算したアルミニウムの100万原子系の電子構造について紹介する。 DFTpyはMITライセンスでリリースされている。
  論文  参考訳（メタデータ） (2020-02-07T19:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。