Fugu-MT 論文翻訳(概要): Evaluation Metrics for DNNs Compression

論文の概要: Evaluation Metrics for DNNs Compression

arxiv url: http://arxiv.org/abs/2305.10616v3
Date: Sat, 30 Sep 2023 22:44:48 GMT
ステータス: 処理完了
システム内更新日: 2023-10-03 14:52:21.732600
Title: Evaluation Metrics for DNNs Compression
Title（参考訳）: DNN圧縮の評価基準
Authors: Abanoub Ghobrial, Samuel Budgett, Dieter Balemans, Hamid Asgari, Phil Reiter, Kerstin Eder
Abstract要約: 1)圧縮とハードウェア非依存速度(CHATS)、2)総合圧縮成功(OCS)の2つの新しい指標を紹介した。
参考スコア（独自算出の注目度）: 1.9014141313309263
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There is a lot of ongoing research effort into developing different techniques for neural networks compression. However, the community lacks standardised evaluation metrics, which are key to identifying the most suitable compression technique for different applications. This paper reviews existing neural network compression evaluation metrics and implements them into a standardisation framework called NetZIP. We introduce two novel metrics to cover existing gaps of evaluation in the literature: 1) Compression and Hardware Agnostic Theoretical Speed (CHATS) and 2) Overall Compression Success (OCS). We demonstrate the use of NetZIP using two case studies on two different hardware platforms (a PC and a Raspberry Pi 4) focusing on object classification and object detection.
Abstract（参考訳）: ニューラルネットワークの圧縮のための様々な技術を開発するための研究が進行中である。しかし、コミュニティには標準化された評価指標が欠けているため、異なるアプリケーションに最適な圧縮テクニックを特定する上で鍵となる。本稿では,既存のニューラルネットワーク圧縮評価メトリクスをレビューし,netzipと呼ばれる標準化フレームワークに実装する。既存の評価のギャップをカバーするための2つの新しい指標を文献に紹介する。 1)圧縮・ハードウェア非依存理論速度(CHATS)と 2) 総合圧縮成功(OCS)。オブジェクト分類とオブジェクト検出に焦点を当てた2つの異なるハードウェアプラットフォーム(PCとRaspberry Pi 4)のケーススタディを用いてNetZIPの使用を実証する。

関連論文リスト

AlphaZip: Neural Network-Enhanced Lossless Text Compression [0.0]
本稿では,Large Language Model (LLM) を用いたロスレステキスト圧縮手法を提案する。第一に、トランスフォーマーブロックのような高密度ニューラルネットワークアーキテクチャを使用した予測、第二に、予測ランクをAdaptive Huffman、LZ77、Gzipといった標準的な圧縮アルゴリズムで圧縮する。
論文参考訳（メタデータ） (2024-09-23T14:21:06Z)
Machine Perceptual Quality: Evaluating the Impact of Severe Lossy Compression on Audio and Image Models [1.2584276673531931]
損失圧縮に対する異なるアプローチが機械知覚タスクにどのように影響するかを評価する。重く損失のある圧縮を発生させながら、圧縮された知覚的圧縮を利用することが可能である。事前トレーニングのためのロッシー圧縮は、マシン直観的なシナリオを劣化させる可能性がある。
論文参考訳（メタデータ） (2024-01-15T20:47:24Z)
The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
論文参考訳（メタデータ） (2023-12-01T22:27:12Z)
Towards Hardware-Specific Automatic Compression of Neural Networks [0.0]
プルーニングと量子化がニューラルネットワークを圧縮する主要なアプローチです効率的な圧縮ポリシーは、特定のハードウェアアーキテクチャが使用する圧縮方法に与える影響を考慮する。本稿では,プレニングと量子化を利用した強化学習を用いて,Galenと呼ばれるアルゴリズムフレームワークを提案する。
論文参考訳（メタデータ） (2022-12-15T13:34:02Z)
Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
論文参考訳（メタデータ） (2022-04-26T01:35:02Z)
ZippyPoint: Fast Interest Point Detection, Description, and Matching through Mixed Precision Discretization [71.91942002659795]
我々は,ネットワーク量子化技術を用いて推論を高速化し,計算限定プラットフォームでの利用を可能にする。バイナリディスクリプタを用いた効率的な量子化ネットワークZippyPointは,ネットワーク実行速度,ディスクリプタマッチング速度,3Dモデルサイズを改善する。これらの改善は、ホモグラフィー推定、視覚的ローカライゼーション、マップフリーな視覚的再ローカライゼーションのタスクで評価されるように、小さなパフォーマンス劣化をもたらす。
論文参考訳（メタデータ） (2022-03-07T18:59:03Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文参考訳（メタデータ） (2021-02-05T11:31:24Z)
Analyzing and Mitigating JPEG Compression Defects in Deep Learning [69.04777875711646]
本稿では,JPEG圧縮が共通タスクやデータセットに与える影響を統一的に検討する。高圧縮の一般的なパフォーマンス指標には大きなペナルティがあることが示される。
論文参考訳（メタデータ） (2020-11-17T20:32:57Z)
Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。