論文の概要: SAMP: A Toolkit for Model Inference with Self-Adaptive Mixed-Precision

• arxiv url: http://arxiv.org/abs/2209.09130v1
• Date: Mon, 19 Sep 2022 15:53:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 16:16:35.200933
• Title: SAMP: A Toolkit for Model Inference with Self-Adaptive Mixed-Precision
• Title（参考訳）: SAMP: 自己適応型混合精度を用いたモデル推論用ツールキット
• Authors: Rong Tian, Zijing Zhao, Weijie Liu, Haoyan Liu, Weiquan Mao, Zhe Zhao, Kimmo Yan
• Abstract要約: 推論のためのモデルを簡単に定量化するためのツールキットを開発した。 混合精度アーキテクチャにより量子化率を自動的に制御する自己適応混合精度(SAMP)を提案する。 実験の結果,SAMPツールキットはPyTorchやFasterTransformerよりも高速であることがわかった。
• 参考スコア（独自算出の注目度）: 4.670678266060919
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The latest industrial inference engines, such as FasterTransformer1 and TurboTransformers, have verified that half-precision floating point (FP16) and 8-bit integer (INT8) quantization can greatly improve model inference speed. However, the existing FP16 or INT8 quantization methods are too complicated, and improper usage will lead to performance damage greatly. In this paper, we develop a toolkit for users to easily quantize their models for inference, in which a Self-Adaptive Mixed-Precision (SAMP) is proposed to automatically control quantization rate by a mixed-precision architecture to balance efficiency and performance. Experimental results show that our SAMP toolkit has a higher speedup than PyTorch and FasterTransformer while ensuring the required performance. In addition, SAMP is based on a modular design, decoupling the tokenizer, embedding, encoder and target layers, which allows users to handle various downstream tasks and can be seamlessly integrated into PyTorch.
• Abstract（参考訳）: FasterTransformer1やTurboTransformersのような最新の産業推論エンジンは、半精度浮動小数点 (FP16) と8ビット整数 (INT8) の量子化がモデル推論速度を大幅に改善することを示した。 しかし、既存のFP16またはINT8量子化手法は複雑すぎるため、不適切な使用は性能に大きなダメージを与える。 本稿では,自己適応型混合精度(SAMP)が提案され,自己適応型混合精度(Self-Adaptive Mixed-Precision, SAMP)が,混合精度アーキテクチャによる量子化率を自動的に制御し,効率と性能のバランスをとる。 実験の結果,我々のSAMPツールキットはPyTorchやFasterTransformerよりも高速であり,必要な性能を確保していることがわかった。 さらに、SAMPはモジュール設計に基づいており、トークンライザ、埋め込み、エンコーダ、ターゲット層を分離することで、ユーザは様々な下流タスクを処理でき、PyTorchにシームレスに統合できる。

関連論文リスト

• PointMT: Efficient Point Cloud Analysis with Hybrid MLP-Transformer Architecture [46.266960248570086]
  本研究は,効率的な特徴集約のための複雑局所的注意機構を導入することで,自己注意機構の二次的複雑さに取り組む。 また,各チャネルの注目重量分布を適応的に調整するパラメータフリーチャネル温度適応機構を導入する。 我々は,PointMTが性能と精度の最適なバランスを維持しつつ,最先端手法に匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-08-10T10:16:03Z)
• MoEUT: Mixture-of-Experts Universal Transformers [75.96744719516813]
  ユニバーサルトランスフォーマー(UT)は、合成一般化の学習において標準トランスフォーマーよりも有利である。 層共有は、同じ次元を持つ非共有モデルと比較してパラメータ数を大幅に削減する。 従来の作業では、言語モデリングのようなパラメータ数の支配的なタスクと競合する共有層トランスフォーマー設計の提案に成功しなかった。
  論文  参考訳（メタデータ） (2024-05-25T03:24:32Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Constraint-aware and Ranking-distilled Token Pruning for Efficient Transformer Inference [18.308180927492643]
  ToPは、未精製モデルの最終層から初期精製モデルまで有効なトークンランキングを蒸留する、希釈型トークン蒸留技術である。 ToPは、GLUE上での競合精度を達成しつつ、BERTの平均FLOPを8.1倍削減し、Intel CPU上では7.4倍の遅延速度を提供する。
  論文  参考訳（メタデータ） (2023-06-26T03:06:57Z)
• Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization [7.392278887917975]
  本稿では,ネットワーク上のテンソルに異なる数値精度を割り当てる混合精度ポストトレーニング量子化手法を提案する。 実験では,16ビットベースラインの25.48%$,21.69%$,33.28%$に対して,レイテンシの低減を実証した。
  論文  参考訳（メタデータ） (2023-06-08T02:18:58Z)
• Infor-Coef: Information Bottleneck-based Dynamic Token Downsampling for Compact and Efficient language model [0.0]
  過剰なオーバーヘッドは、大きなレイテンシと計算コストにつながる。 本稿では,大規模言語モデルに対するモデルアクセレーション手法を提案する。 本モデルでは,BERTと比較して精度が8%未満の18倍FLOPの高速化を実現している。
  論文  参考訳（メタデータ） (2023-05-21T13:30:56Z)
• Patch-wise Mixed-Precision Quantization of Vision Transformer [2.3104000011280403]
  視覚変換器(ViT)は、強力な特徴表現の学習を保証するために複雑な自己注意計算を必要とする。 本稿では,ViTの効率的な推定のためのパッチワイド混合精度量子化(PMQ)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T04:34:10Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。