論文の概要: Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition

• arxiv url: http://arxiv.org/abs/2309.12412v1
• Date: Thu, 21 Sep 2023 18:21:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-25 17:12:38.686271
• Title: Speeding up Resnet Architecture with Layers Targeted Low Rank Decomposition
• Title（参考訳）: 層状低ランク分解によるResnetアーキテクチャの高速化
• Authors: Walid Ahmed and Habib Hajimolahoseini and Austin Wen and Yang Liu
• Abstract要約: ネットワーク層における低階分解を用いた圧縮の適用について検討する。 Ascend910のハードウェア目標圧縮では、トレーニング速度が5.36%、推論速度が15.79%向上した。
• 参考スコア（独自算出の注目度）: 5.262616319978047
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Compression of a neural network can help in speeding up both the training and the inference of the network. In this research, we study applying compression using low rank decomposition on network layers. Our research demonstrates that to acquire a speed up, the compression methodology should be aware of the underlying hardware as analysis should be done to choose which layers to compress. The advantage of our approach is demonstrated via a case study of compressing ResNet50 and training on full ImageNet-ILSVRC2012. We tested on two different hardware systems Nvidia V100 and Huawei Ascend910. With hardware targeted compression, results on Ascend910 showed 5.36% training speedup and 15.79% inference speed on Ascend310 with only 1% drop in accuracy compared to the original uncompressed model
• Abstract（参考訳）: ニューラルネットワークの圧縮は、トレーニングとネットワークの推論の両方を高速化するのに役立ちます。 本研究では,ネットワーク層に低階分解を用いた圧縮を適用する。 我々の研究は、圧縮手法を高速化するためには、どの層を圧縮するかを選択するために、基盤となるハードウェアに注意を向けるべきであることを示した。 提案手法の利点は,ResNet50の圧縮とImageNet-ILSVRC2012のフルトレーニングを事例として示す。 nvidia v100とhuawei ascend910の2つの異なるハードウェアシステムでテストしました。 Ascend910のハードウェア目標圧縮では、トレーニングのスピードアップが5.36%、Ascend310の推論速度が15.79%で、オリジナルの非圧縮モデルと比較して1%の精度で低下した。

関連論文リスト

• Are Visual Recognition Models Robust to Image Compression? [23.280147529096908]
  画像圧縮が視覚認知タスクに与える影響を解析する。 我々は、0.1ビットから2ビット/ピクセル(bpp)までの幅広い圧縮レベルについて検討する。 これら3つのタスクすべてにおいて,強い圧縮を使用する場合,認識能力に大きな影響があることが判明した。
  論文  参考訳（メタデータ） (2023-04-10T11:30:11Z)
• PILC: Practical Image Lossless Compression with an End-to-end GPU Oriented Neural Framework [88.18310777246735]
  本稿では,1台のNVIDIA Tesla V100 GPUを用いて,圧縮と圧縮の両面で200MB/sを実現するエンドツーエンド画像圧縮フレームワークを提案する。 実験により、我々のフレームワークは、複数のデータセットで30%のマージンで、PNGよりも圧縮が優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-10T03:00:10Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Layer-Wise Data-Free CNN Compression [49.73757297936685]
  本稿では,事前学習ネットワークのみを用いてレイヤワイズトレーニングデータを生成する方法を示す。 本稿では,量子化とプルーニングを用いた層間圧縮の結果について述べる。
  論文  参考訳（メタデータ） (2020-11-18T03:00:05Z)
• Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
  本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。 高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
  論文  参考訳（メタデータ） (2020-11-17T20:32:57Z)
• Conditional Entropy Coding for Efficient Video Compression [82.35389813794372]
  本稿では,フレーム間の条件エントロピーをモデル化することのみに焦点を当てた,非常にシンプルで効率的なビデオ圧縮フレームワークを提案する。 まず、画像遅延符号間のエントロピーをモデル化する単純なアーキテクチャが、他のニューラルビデオ圧縮やビデオコーデックと同等の競争力を持つことを示す。 次に、このアーキテクチャの上に新しい内部学習拡張を提案し、復号速度を抑えることなく10%の節約を実現した。
  論文  参考訳（メタデータ） (2020-08-20T20:01:59Z)
• Convolutional neural networks compression with low rank and sparse tensor decompositions [0.0]
  畳み込みニューラルネットワークは、様々なコンピュータビジョンタスクにおいて顕著な結果を示す。 現実のアプリケーションでは、エッジシステムやモバイルデバイス上で走るのに十分高速で軽量なモデルを開発することが不可欠である。 本研究では,テンソル分解に基づくニューラルネットワーク圧縮手法を提案する。
  論文  参考訳（メタデータ） (2020-06-11T13:53:18Z)
• Improved Image Coding Autoencoder With Deep Learning [8.92071749364712]
  自動エンコーダベースのパイプラインを構築し,Ball'eのアプローチに基づく極端エンドツーエンドの画像圧縮を実現する。 ピクセル当たりのビット数は4.0%減少し(bpp)、マルチスケール構造類似度(MS-SSIM)は0.03%増加し、ピーク信号-ノイズ比(PSNR)は0.47%低下した。
  論文  参考訳（メタデータ） (2020-02-28T03:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。