論文の概要: SySMOL: Co-designing Algorithms and Hardware for Neural Networks with Heterogeneous Precisions

• arxiv url: http://arxiv.org/abs/2311.14114v2
• Date: Mon, 6 May 2024 19:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-05-08 20:03:52.741421
• Title: SySMOL: Co-designing Algorithms and Hardware for Neural Networks with Heterogeneous Precisions
• Title（参考訳）: SySMOL:不均一精度ニューラルネットワークの共設計アルゴリズムとハードウェア
• Authors: Cyrus Zhou, Pedro Savarese, Vaughn Richard, Zack Hassman, Xin Yuan, Michael Maire, Michael DiBrino, Yanjing Li,
• Abstract要約: 最近の量子化技術は、非常に微細な粒度で不均一な精度を実現している。 これらのネットワークは、個々の変数の精度設定をデコードし、変数を調整し、きめ細かい混合精度計算機能を提供するために、追加のハードウェアを必要とする。 ネットワークを細粒度の不均一な精度で効率的に実行するためのエンド・ツー・エンド協調設計手法を提案する。
• 参考スコア（独自算出の注目度）: 20.241671088121144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent quantization techniques have enabled heterogeneous precisions at very fine granularity, e.g., each parameter/activation can take on a different precision, resulting in compact neural networks without sacrificing accuracy. However, there is a lack of efficient architectural support for such networks, which require additional hardware to decode the precision settings for individual variables, align the variables, and provide fine-grained mixed-precision compute capabilities. The complexity of these operations introduces high overheads. Thus, the improvements in inference latency/energy of these networks are not commensurate with the compression ratio, and may be inferior to larger quantized networks with uniform precisions. We present an end-to-end co-design approach encompassing computer architecture, training algorithm, and inference optimization to efficiently execute networks with fine-grained heterogeneous precisions. The key to our approach is a novel training algorithm designed to accommodate hardware constraints and inference operation requirements, outputting networks with input-channel-wise heterogeneous precisions and at most three precision levels. Combined with inference optimization techniques, existing architectures with low-cost enhancements can support such networks efficiently, yielding optimized tradeoffs between accuracy, compression ratio and inference latency/energy. We demonstrate the efficacy of our approach across CPU and GPU architectures. For various representative neural networks, our approach achieves >10x improvements in both compression ratio and inference latency, with negligible degradation in accuracy compared to full-precision networks.
• Abstract（参考訳）: 最近の量子化技術は、非常に微細な粒度で不均一な精度を実現し、例えば、各パラメータ/アクティベーションは異なる精度で処理できるため、精度を犠牲にすることなく、コンパクトなニューラルネットワークを実現することができる。 しかし、そのようなネットワークに対する効率的なアーキテクチャサポートがないため、個々の変数の精度設定をデコードし、変数を調整し、きめ細かい混合精度の計算機能を提供するために、追加のハードウェアが必要である。 これらの操作の複雑さは高いオーバーヘッドをもたらす。 したがって、これらのネットワークの推論遅延/エネルギーの改善は圧縮比と一致せず、均一な精度の大規模量子化ネットワークに劣る可能性がある。 本稿では,コンピュータアーキテクチャ,トレーニングアルゴリズム,推論最適化を含むエンドツーエンドの協調設計手法を提案する。 提案手法の鍵となるのは,ハードウェアの制約や推論操作要求に適応し,入力チャネルワイドの不均一な精度と,少なくとも3つの精度でネットワークを出力する,新たなトレーニングアルゴリズムである。 推論最適化技術と組み合わせることで、低コストで拡張可能な既存のアーキテクチャは、そのようなネットワークを効率的にサポートし、精度、圧縮比、推論遅延/エネルギーのトレードオフを最適化することができる。 我々は、CPUとGPUアーキテクチャにまたがるアプローチの有効性を実証する。 様々な代表的ニューラルネットワークに対して,本手法は圧縮比と推論遅延の両面で10倍の精度向上を実現し,完全精度のネットワークに比べて精度の劣化は無視できる。

関連論文リスト

• DiffPro: Joint Timestep and Layer-Wise Precision Optimization for Efficient Diffusion Inference [1.6112309942944745]
  DiffProはデプロイに使用する正確な整数カーネルと連携し、Diffusion Transformer(DiT)のタイムステップと層ごとの精度を共同調整することで、トレーニングなしでレイテンシとメモリを削減できる。 実験では、DiffProは最大6.25倍のモデル圧縮、50%のタイムステップ、標準ベンチマークでDelta FID = 10の2.8倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2025-11-14T16:14:58Z)
• FlexiQ: Adaptive Mixed-Precision Quantization for Latency/Accuracy Trade-Offs in Deep Neural Networks [9.07106283505631]
  FlexiQはコンピュータビジョンモデルのための適応型混合精度量子化スキームである。 量子化誤差を最小限に抑えるために、小さな値範囲を持つ特徴チャネルに低ビット幅を適用する。 低ビット幅のチャネル比をリアルタイムで調整し、量子化されたモデルで推論の作業量を管理することができる。
  論文  参考訳（メタデータ） (2025-10-03T09:00:51Z)
• Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference [3.7687375904925484]
  本稿では,ハードウェアの利点を最小限の精度で生かした,ハードウェア効率の量子化と推論手法を提案する。 本研究では,新たな推定オーバーヘッドを伴わずに,新たな量子化アルゴリズムであるDual Precision Quantization (DPQ) を開発した。
  論文  参考訳（メタデータ） (2025-05-20T17:26:12Z)
• ParetoQ: Improving Scaling Laws in Extremely Low-bit LLM Quantization [73.60493264901359]
  本稿では,1ビット,1.58ビット,2ビット,3ビット,4ビットの量子化設定に対して厳密な比較を行う統一フレームワークを提案する。 3次、2ビット、3ビット量子化は、サイズと精度のトレードオフにおいて同等のパフォーマンスを維持していることを示す。 ハードウェアの制約を考慮すると、2ビット量子化はメモリの削減とスピードアップに有望な可能性を秘めている。
  論文  参考訳（メタデータ） (2025-02-04T18:59:26Z)
• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用せずに機能するディープニューラルネットワークのユニット・レイヤ・プルーニングとレイヤ・プルーニングを組み合わせた新しいアルゴリズムを提案する。 本アルゴリズムは, 学習精度とプルーニングレベルを最適に交換し, ユニットプルーニングと計算量とパラメータ複雑性のバランスをとる。 提案アルゴリズムは,ネットワークに対応する最適化問題の解に収束することを示す。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• On-Chip Hardware-Aware Quantization for Mixed Precision Neural Networks [52.97107229149988]
  エッジデバイス上でハードウェア対応の混合精度量子化を行うOn-Chipハードウェア・アウェア量子化フレームワークを提案する。 このパイプラインは、量子化プロセスが量子化演算子の実際のハードウェア効率を知覚することを可能にする。 精度測定のために,マルチチップシナリオにおける演算子の精度への影響を効果的に推定するMask-Guided Quantization Estimation技術を提案する。
  論文  参考訳（メタデータ） (2023-09-05T04:39:34Z)
• Free Bits: Latency Optimization of Mixed-Precision Quantized Neural Networks on the Edge [17.277918711842457]
  混合精度量子化は、モデルサイズ、レイテンシ、統計的精度の間のトレードオフを最適化する機会を提供する。 本稿では,与えられたネットワークに対する混合精度構成の探索空間をナビゲートするハイブリッド探索手法を提案する。 ハードウェアに依存しない差別化検索アルゴリズムと、特定のハードウェアターゲットに対して遅延最適化された混合精度構成を見つけるハードウェア対応最適化で構成されている。
  論文  参考訳（メタデータ） (2023-07-06T09:57:48Z)
• DeepGEMM: Accelerated Ultra Low-Precision Inference on CPU Architectures using Lookup Tables [49.965024476651706]
  DeepGEMMはSIMDハードウェア上で超高精度畳み込みニューラルネットワークを実行するためのルックアップテーブルベースのアプローチである。 実装は、x86プラットフォーム上で、対応する8ビット整数カーネルを最大1.74倍の性能で上回る。
  論文  参考訳（メタデータ） (2023-04-18T15:13:10Z)
• A Practical Mixed Precision Algorithm for Post-Training Quantization [15.391257986051249]
  混合精度量子化は、均一な量子化よりも優れた性能効率トレードオフを見つけるための有望な解である。 簡単な学習後混合精度アルゴリズムを提案する。 我々は,同質のビット幅等価値よりも精度と効率のトレードオフが良い混合精度ネットワークを見つけることができることを示す。
  論文  参考訳（メタデータ） (2023-02-10T17:47:54Z)
• Efficient and Effective Methods for Mixed Precision Neural Network Quantization for Faster, Energy-efficient Inference [3.3213055774512648]
  ネットワークの精度を下げるための量子化は、ネットワークを単純化する強力な技術である。 混合精度量子化法は,各レイヤの精度を選択的に調整し,タスク性能の最小低下を実現する。 タスク性能に及ぼすレイヤー精度選択の影響を推定するために,2つの方法を紹介した。 EAGLとALPSを用いて4ビット層と2ビット層を混合して完全精度を復元する。
  論文  参考訳（メタデータ） (2023-01-30T23:26:33Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Mixed Precision of Quantization of Transformer Language Models for Speech Recognition [67.95996816744251]
  トランスフォーマーが表現する最先端のニューラルネットワークモデルは、実用アプリケーションにとってますます複雑で高価なものになりつつある。 現在の低ビット量子化法は、均一な精度に基づいており、量子化エラーに対するシステムの異なる部分での様々な性能感度を考慮できない。 最適局所精度設定は2つの手法を用いて自動的に学習される。 Penn Treebank (PTB)とSwitchboard corpusによるLF-MMI TDNNシステムの試験を行った。
  論文  参考訳（メタデータ） (2021-11-29T09:57:00Z)
• Multi-Exit Semantic Segmentation Networks [78.44441236864057]
  本稿では,最先端セグメンテーションモデルをMESSネットワークに変換するフレームワークを提案する。 パラメトリド早期出口を用いた特別訓練されたCNNは、より簡単なサンプルの推測時に、その深さに沿って保存する。 接続されたセグメンテーションヘッドの数、配置、アーキテクチャとエグジットポリシーを併用して、デバイス機能とアプリケーション固有の要件に適応する。
  論文  参考訳（メタデータ） (2021-06-07T11:37:03Z)
• Q-ASR: Integer-only Zero-shot Quantization for Efficient Speech Recognition [65.7040645560855]
  ASRモデルに対する整数のみのゼロショット量子化スキームであるQ-ASRを提案する。 全精度ベースラインモデルと比較すると,wrの変化は無視できる。 Q-ASRは、WER劣化が少ない4倍以上の圧縮率を示します。
  論文  参考訳（メタデータ） (2021-03-31T06:05:40Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• GradFreeBits: Gradient Free Bit Allocation for Dynamic Low Precision Neural Networks [4.511923587827301]
  量子ニューラルネットワーク(QNN)は、低リソースエッジデバイスにディープニューラルネットワークをデプロイするための主要なアプローチのひとつだ。 動的QNNを訓練するための新しい共同最適化スキームであるGradFreeBitsを提案する。 本手法はCIFAR10/100上での最先端の低精度ニューラルネットワークと画像ネットの分類を同等あるいは同等の性能で実現している。
  論文  参考訳（メタデータ） (2021-02-18T12:18:09Z)
• DAQ: Distribution-Aware Quantization for Deep Image Super-Resolution Networks [49.191062785007006]
  画像超解像のための深い畳み込みニューラルネットワークの定量化は、計算コストを大幅に削減する。 既存の作業は、4ビット以下の超低精度の厳しい性能低下に苦しむか、または性能を回復するために重い微調整プロセスを必要とします。 高精度なトレーニングフリー量子化を実現する新しい分散認識量子化方式(DAQ)を提案する。
  論文  参考訳（メタデータ） (2020-12-21T10:19:42Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)
• EasyQuant: Post-training Quantization via Scale Optimization [15.443708111143412]
  8ビットの量子化は、様々なディープラーニングアプリケーションにおけるネットワーク推論の高速化に広く応用されている。 量子化法には、トレーニングベース量子化と後学習量子化の2種類がある。
  論文  参考訳（メタデータ） (2020-06-30T10:43:02Z)
• Quantized Neural Network Inference with Precision Batching [4.519884877213097]
  精度はニューラルネットワークを個々のビット層に分解し、高速な1ビット演算を用いて蓄積する。 精度は、全精度ベースラインの1%エラーマージン内において、GPU上のエンドツーエンドの8倍の精度が得られる。 さまざまなアプリケーションにおいて、Precisionは、完全な精度ベースラインの1%エラーマージン内において、GPU上のエンド・ツー・エンドの8倍の値を得る。
  論文  参考訳（メタデータ） (2020-02-26T19:34:11Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。