論文の概要: DP-Net: Dynamic Programming Guided Deep Neural Network Compression

• arxiv url: http://arxiv.org/abs/2003.09615v1
• Date: Sat, 21 Mar 2020 09:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 12:42:32.660944
• Title: DP-Net: Dynamic Programming Guided Deep Neural Network Compression
• Title（参考訳）: DP-Net: 動的プログラミングガイドによるディープニューラルネットワーク圧縮
• Authors: Dingcheng Yang, Wenjian Yu, Ao Zhou, Haoyuan Mu, Gary Yao, Xiaoyi Wang
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の効率的な圧縮手法を提案する。 これは、ウェイト量子化の最適解を得るために、新しい動的プログラミング(DP)ベースのアルゴリズムを含んでいる。 実験の結果、DP-Netは最先端の圧縮よりも精度を保ちながら大きな圧縮を可能にすることがわかった。
• 参考スコア（独自算出の注目度）: 6.073806464126461
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we propose an effective scheme (called DP-Net) for compressing the deep neural networks (DNNs). It includes a novel dynamic programming (DP) based algorithm to obtain the optimal solution of weight quantization and an optimization process to train a clustering-friendly DNN. Experiments showed that the DP-Net allows larger compression than the state-of-the-art counterparts while preserving accuracy. The largest 77X compression ratio on Wide ResNet is achieved by combining DP-Net with other compression techniques. Furthermore, the DP-Net is extended for compressing a robust DNN model with negligible accuracy loss. At last, a custom accelerator is designed on FPGA to speed up the inference computation with DP-Net.
• Abstract（参考訳）: 本研究では,ディープニューラルネットワーク(DNN)を圧縮するための効果的なスキーム(DP-Net)を提案する。 これには、ウェイト量子化の最適解を得るための新しい動的プログラミング(DP)ベースのアルゴリズムと、クラスタリングに優しいDNNを訓練するための最適化プロセスが含まれる。 実験の結果、DP-Netは最先端の圧縮よりも精度を保ちながら大きな圧縮を可能にすることがわかった。 Wide ResNet上で最大の77X圧縮比は、DP-Netと他の圧縮技術を組み合わせることで達成される。 さらにdp-netを拡張してロバストなdnnモデルを精度損失なく圧縮する。 最後に、DP-Netで推論計算を高速化するカスタムアクセラレータをFPGA上に設計する。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Mixed-TD: Efficient Neural Network Accelerator with Layer-Specific Tensor Decomposition [7.221206118679026]
  そこで我々は,Mixed-TDと呼ばれるテンソル分解法に基づいて,CNNをFPGAにマッピングするフレームワークを提案する。 提案手法は,DSP毎の1.73倍から10.29倍のスループットを最先端CNNに適用し,層固有特異値分解(SVD)とカノニカルポリアディック分解(CPD)を混合的に適用する。
  論文  参考訳（メタデータ） (2023-06-08T08:16:38Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing [93.67044879636093]
  協調エッジコンピューティングネットワークにおける分散畳み込みニューラルネットワーク(CNN)を用いた推論高速化について検討する。 我々は,CNNモデルを複数の畳み込み層に分割するために,融合層並列化を用いた新しい協調エッジコンピューティングを提案する。
  論文  参考訳（メタデータ） (2022-07-22T18:38:11Z)
• An Adaptive Device-Edge Co-Inference Framework Based on Soft Actor-Critic [72.35307086274912]
  高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。 本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。 レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
  論文  参考訳（メタデータ） (2022-01-09T09:31:50Z)
• Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
  本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。 提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-22T23:53:14Z)
• Toward Compact Parameter Representations for Architecture-Agnostic Neural Network Compression [26.501979992447605]
  本稿では,訓練されたパラメータをコンパクトに表現・保存する観点から,圧縮について検討する。 我々は、画像記述子のために発明された極端損失圧縮法である加法量子化を利用して、パラメータをコンパクトに表現する。 我々は,MobileNet-v2,VGG-11,ResNet-50,Feature Pyramid Networks,および分類,検出,セグメンテーションタスクを訓練したPruned DNNの実験を行った。
  論文  参考訳（メタデータ） (2021-11-19T17:03:11Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Lightweight Compression of Intermediate Neural Network Features for Collaborative Intelligence [32.03465747357384]
  協調インテリジェンスアプリケーションでは、ディープニューラルネットワーク(DNN)の一部が携帯電話やエッジデバイスなどの軽量デバイスにデプロイされます。 本稿では,分割DNNの中間層によって出力される特徴を量子化し圧縮する,新しい軽量圧縮技術を提案する。
  論文  参考訳（メタデータ） (2021-05-15T00:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。