論文の概要: "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach

• arxiv url: http://arxiv.org/abs/2403.00258v1
• Date: Fri, 1 Mar 2024 03:46:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 18:28:09.571055
• Title: "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach
• Title（参考訳）: ディープニューラルネットワークの"ロスレス"圧縮--高次元神経接核アプローチ
• Authors: Lingyu Gu, Yongqi Du, Yuan Zhang, Di Xie, Shiliang Pu, Robert C. Qiu, Zhenyu Liao
• Abstract要約: 広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
• 参考スコア（独自算出の注目度）: 49.744093838327615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep neural networks (DNNs) are extremely powerful; however, this comes at the price of increased depth and having more parameters per layer, making their training and inference more computationally challenging. In an attempt to address this key limitation, efforts have been devoted to the compression (e.g., sparsification and/or quantization) of these large-scale machine learning models, so that they can be deployed on low-power IoT devices. In this paper, building upon recent advances in neural tangent kernel (NTK) and random matrix theory (RMT), we provide a novel compression approach to wide and fully-connected \emph{deep} neural nets. Specifically, we demonstrate that in the high-dimensional regime where the number of data points $n$ and their dimension $p$ are both large, and under a Gaussian mixture model for the data, there exists \emph{asymptotic spectral equivalence} between the NTK matrices for a large family of DNN models. This theoretical result enables "lossless" compression of a given DNN to be performed, in the sense that the compressed network yields asymptotically the same NTK as the original (dense and unquantized) network, with its weights and activations taking values \emph{only} in $\{ 0, \pm 1 \}$ up to a scaling. Experiments on both synthetic and real-world data are conducted to support the advantages of the proposed compression scheme, with code available at \url{https://github.com/Model-Compression/Lossless_Compression}.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)は非常に強力だが、これは深度の増加と層毎のパラメータの増大によって実現され、トレーニングと推論がより計算的に困難になる。 この重要な制限に対処するために、これらの大規模機械学習モデルの圧縮(例えば、スペーシフィケーションと/または量子化)に努力が注がれており、低消費電力のIoTデバイスにデプロイできる。 本稿では,神経接核 (ntk) とランダム行列理論 (rmt) の最近の進歩に基づき,広大かつ完全連結な \emph{deep} ニューラルネットに対する新しい圧縮手法を提案する。 具体的には、データ点数$n$とその次元$p$が共に大きい高次元状態において、データに対するガウス混合モデルの下では、多数のDNNモデルに対してNTK行列間で 'emph{asymsymotic spectrum equivalence' が存在することを示す。 この理論的な結果は、圧縮されたネットワークが元の (dense and unquantized) ネットワークと同じ ntk を漸近的に得るという意味で、与えられた dnn の "lossless" 圧縮を可能とし、その重みとアクティベーションが $\{0, \pm 1 \}$ で \emph{only} 値を取る。 合成データと実世界のデータの両方の実験は、提案された圧縮スキームの利点をサポートするために行われ、コードには \url{https://github.com/Model-Compression/Lossless_Compression} がある。

関連論文リスト

• Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions [10.635248457021499]
  プルーニングはディープニューラルネットワーク(DNN)を圧縮するための主要なアプローチの1つである モデルの重みと入力を軽度に仮定して,そのようなコアセットを計算するための,新しい,堅牢なフレームワークを提案する。 提案手法は,既存のコアセットに基づくニューラルプルーニング手法を,幅広いネットワークやデータセットで性能的に向上させる。
  論文  参考訳（メタデータ） (2022-09-18T12:45:26Z)
• COIN++: Data Agnostic Neural Compression [55.27113889737545]
  COIN++は、幅広いデータモダリティをシームレスに扱うニューラルネットワーク圧縮フレームワークである。 様々なデータモダリティを圧縮することで,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-01-30T20:12:04Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• Low-Rank+Sparse Tensor Compression for Neural Networks [11.632913694957868]
  本稿では,低ランクテンソル分解とスパースプルーニングを組み合わせることで,圧縮の粗さと微細構造を両立させることを提案する。 我々はSOTAアーキテクチャ(MobileNetv3、EfficientNet、Vision Transformer)の重みを圧縮し、この手法をスパースプルーニングとテンソル分解だけで比較する。
  論文  参考訳（メタデータ） (2021-11-02T15:55:07Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Quantized Neural Networks via {-1, +1} Encoding Decomposition and Acceleration [83.84684675841167]
  本稿では,量子化されたニューラルネットワーク(QNN)をマルチブランチバイナリネットワークに分解するために,-1,+1を用いた新しい符号化方式を提案する。 本稿では,大規模画像分類,オブジェクト検出,セマンティックセグメンテーションにおける提案手法の有効性を検証する。
  論文  参考訳（メタデータ） (2021-06-18T03:11:15Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
  本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。 大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
  論文  参考訳（メタデータ） (2021-02-05T11:31:24Z)
• Compression strategies and space-conscious representations for deep neural networks [0.3670422696827526]
  近年のディープラーニングの進歩により、いくつかの実世界のアプリケーションで最先端のパフォーマンスを備えた強力な畳み込みニューラルネットワーク(CNN)が利用可能になった。 CNNには数百万のパラメータがあり、リソース制限のあるプラットフォームではデプロイできない。 本稿では,重み付けと量子化によるCNNの損失圧縮の影響について検討する。
  論文  参考訳（メタデータ） (2020-07-15T19:41:19Z)
• Hybrid Tensor Decomposition in Neural Network Compression [13.146051056642904]
  本稿では階層的タッカー分解法(HT)を導入し,ニューラルネットワーク圧縮におけるその機能について検討する。 HTフォーマットは重み行列の圧縮に優れ,TTフォーマットは畳み込みカーネルの圧縮に適していることが実験的に明らかになった。
  論文  参考訳（メタデータ） (2020-06-29T11:16:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。