論文の概要: SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training

• arxiv url: http://arxiv.org/abs/2101.01163v1
• Date: Mon, 4 Jan 2021 18:54:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-11 23:01:10.173430
• Title: SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and Training
• Title（参考訳）: smartdeal: 効率的な推論とトレーニングのためのディープネットワーク重み付けの再モデリング
• Authors: Xiaohan Chen, Yang Zhao, Yue Wang, Pengfei Xu, Haoran You, Chaojian Li, Yonggan Fu, Yingyan Lin, Zhangyang Wang
• Abstract要約: ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。 SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
• 参考スコア（独自算出の注目度）: 82.35376405568975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The record-breaking performance of deep neural networks (DNNs) comes with heavy parameterization, leading to external dynamic random-access memory (DRAM) for storage. The prohibitive energy of DRAM accesses makes it non-trivial to deploy DNN on resource-constrained devices, calling for minimizing the weight and data movements to improve the energy efficiency. We present SmartDeal (SD), an algorithm framework to trade higher-cost memory storage/access for lower-cost computation, in order to aggressively boost the storage and energy efficiency, for both inference and training. The core of SD is a novel weight decomposition with structural constraints, carefully crafted to unleash the hardware efficiency potential. Specifically, we decompose each weight tensor as the product of a small basis matrix and a large structurally sparse coefficient matrix whose non-zeros are quantized to power-of-2. The resulting sparse and quantized DNNs enjoy greatly reduced energy for data movement and weight storage, incurring minimal overhead to recover the original weights thanks to the sparse bit-operations and cost-favorable computations. Beyond inference, we take another leap to embrace energy-efficient training, introducing innovative techniques to address the unique roadblocks arising in training while preserving the SD structures. We also design a dedicated hardware accelerator to fully utilize the SD structure to improve the real energy efficiency and latency. We conduct experiments on both multiple tasks, models and datasets in different settings. Results show that: 1) applied to inference, SD achieves up to 2.44x energy efficiency as evaluated via real hardware implementations; 2) applied to training, SD leads to 10.56x and 4.48x reduction in the storage and training energy, with negligible accuracy loss compared to state-of-the-art training baselines. Our source codes are available online.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)のレコード破りのパフォーマンスには、重いパラメータ化が伴い、ストレージの外部動的ランダムアクセスメモリ(DRAM)が発生する。 DRAMアクセスの禁止されたエネルギは、リソース制限されたデバイスにDNNをデプロイするのは簡単ではない。 We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost calculation, to a aggressively boost the storage and energy efficiency for inference and training。 SDの中核は構造的制約のある新しい重量分解であり、ハードウェア効率のポテンシャルを解き放つために慎重に設計されている。 具体的には、各重みテンソルを小さな基底行列の積として分解し、非零点を2のパワーに量子化する大きな構造的スパース係数行列とする。 結果として得られるスパースと量子化されたDNNは、データ移動と重み記憶のエネルギーを大幅に削減し、スパースビット演算と費用対価計算によって元の重みを回復するために最小限のオーバーヘッドを発生させる。 推論以外にも、私たちはエネルギー効率のトレーニングを受け入れるために、SD構造を維持しながらトレーニングで生じるユニークな障害に対処する革新的な技術を導入しています。 また、SD構造を完全に活用して実エネルギー効率と遅延を改善する専用ハードウェアアクセラレータを設計する。 複数のタスク、モデル、データセットをそれぞれ異なる設定で実験します。 その結果,1)実ハードウェア実装による評価では,SDは最大2.44倍のエネルギー効率を達成し,2)トレーニングにおいてSDは10.56倍,4.48倍のストレージとトレーニングエネルギを減少させ,最先端のトレーニングベースラインに比べて精度の低下は無視できることがわかった。 ソースコードはオンラインで入手できます。

関連論文リスト

• TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators [11.496631244103773]
  Tiny Shared Block (TSB)"は、小さな共有1x1畳み込みブロックをDeep Neural Networkアーキテクチャに統合する。 TSBは、20倍以上の推論精度ギャップの改善、5倍以上のトレーニングスピードアップ、デバイス間マッピングコストの削減を実現している。
  論文  参考訳（メタデータ） (2024-05-08T20:53:38Z)
• CAMEL: Co-Designing AI Models and Embedded DRAMs for Efficient On-Device Learning [8.339901980070616]
  リソース制限されたデバイスでのAIのトレーニングは、コンピューティングワークロードの要求と、ディープニューラルネットワーク(DNN)が必要とするメモリ消費とデータアクセスの大幅な増加により、大きな課題となる。 過渡学習データのための一次記憶媒体として,組込み動的ランダムアクセスメモリ(eDRAM)を提案する。 我々は,eDRAMをプライマリオンチップメモリとして活用する,TextitCAMELという,高効率なオンデバイストレーニングエンジンを提案する。
  論文  参考訳（メタデータ） (2023-05-04T20:57:01Z)
• Multi-Complexity-Loss DNAS for Energy-Efficient and Memory-Constrained Deep Neural Networks [22.40937602825472]
  エネルギーとメモリは、特に低コストで微分可能な(DNAS)ソリューションによって同時に考えることは滅多にない。 設計者の視点から最も現実的なシナリオに対処する最初のDNASを提案する。 我々のネットワークは、同じメモリ制約に対するエネルギー消費の2.18倍、精度の4.04%の範囲に及び、ベースラインに対して無視できる精度の低下でエネルギーを2.2倍まで削減する。
  論文  参考訳（メタデータ） (2022-06-01T08:04:50Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• CREW: Computation Reuse and Efficient Weight Storage for Hardware-accelerated MLPs and RNNs [1.0635248457021496]
  本稿では,ReuseとEfficient Weight Storage機構を実装したハードウェアアクセラレータCREWを紹介する。 CREWは乗算数を大幅に削減し、モデルメモリフットプリントとメモリ帯域幅使用量を大幅に削減する。 CREWは平均2.61倍のスピードアップと2.42倍の省エネを提供する。
  論文  参考訳（メタデータ） (2021-07-20T11:10:54Z)
• Dynamic Slimmable Network [105.74546828182834]
  ダイナミックスリム化システム「ダイナミックスリム化ネットワーク(DS-Net)」を開発。 ds-netは,提案するダブルヘッド動的ゲートによる動的推論機能を備えている。 静的圧縮法と最先端の静的および動的モデル圧縮法を一貫して上回っている。
  論文  参考訳（メタデータ） (2021-03-24T15:25:20Z)
• Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
  効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。 計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
  論文  参考訳（メタデータ） (2021-03-04T08:14:10Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• SmartExchange: Trading Higher-cost Memory Storage/Access for Lower-cost Computation [97.78417228445883]
  We present SmartExchange, a algorithm- hardware co-design framework for energy- efficient inference of Deep Neural Network (DNNs)。 そこで我々は,非零要素がすべてパワー・オブ・ツーである小さな基底行列と大きなスパース係数行列の積として,各重み行列を格納できる,特別に好ましいDNN重み構造を強制する新しいアルゴリズムを開発した。 さらに、SmartExchange強化重量をフル活用し、エネルギー効率と遅延性能の両方を改善するための専用のアクセラレータを設計する。
  論文  参考訳（メタデータ） (2020-05-07T12:12:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。