論文の概要: How Informative is the Approximation Error from Tensor Decomposition for
Neural Network Compression?
- arxiv url: http://arxiv.org/abs/2305.05318v1
- Date: Tue, 9 May 2023 10:12:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-10 13:06:36.787164
- Title: How Informative is the Approximation Error from Tensor Decomposition for
Neural Network Compression?
- Title（参考訳）: テンソル分解によるニューラルネットワーク圧縮の近似誤差はどの程度不変か?
- Authors: Jetze T. Schuurmans, Kim Batselier, Julian F. P. Kooij
- Abstract要約: 最近の研究は、重みの近似誤差が、複数の層を圧縮し、圧縮されたモデルを微調整するモデルの性能のプロキシであると仮定している。
この仮定が様々な層や種類の分解にまたがって成立するかどうか、微調整の効果を実験的に検証する。
重みの近似誤差は、微調整の前後で、性能誤差と正の相関を持つことがわかった。
- 参考スコア（独自算出の注目度）: 7.358732518242147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tensor decompositions have been successfully applied to compress neural
networks. The compression algorithms using tensor decompositions commonly
minimize the approximation error on the weights. Recent work assumes the
approximation error on the weights is a proxy for the performance of the model
to compress multiple layers and fine-tune the compressed model. Surprisingly,
little research has systematically evaluated which approximation errors can be
used to make choices regarding the layer, tensor decomposition method, and
level of compression. To close this gap, we perform an experimental study to
test if this assumption holds across different layers and types of
decompositions, and what the effect of fine-tuning is. We include the
approximation error on the features resulting from a compressed layer in our
analysis to test if this provides a better proxy, as it explicitly takes the
data into account. We find the approximation error on the weights has a
positive correlation with the performance error, before as well as after
fine-tuning. Basing the approximation error on the features does not improve
the correlation significantly. While scaling the approximation error commonly
is used to account for the different sizes of layers, the average correlation
across layers is smaller than across all choices (i.e. layers, decompositions,
and level of compression) before fine-tuning. When calculating the correlation
across the different decompositions, the average rank correlation is larger
than across all choices. This means multiple decompositions can be considered
for compression and the approximation error can be used to choose between them.
- Abstract（参考訳）: テンソル分解はニューラルネットワークの圧縮に成功している。
テンソル分解を用いた圧縮アルゴリズムは一般に重みの近似誤差を最小化する。
最近の研究は、重みの近似誤差が複数の層を圧縮し、圧縮されたモデルを微調整するモデルの性能のプロキシであると仮定している。
驚くべきことに、どの近似誤差を用いて層、テンソル分解法、圧縮レベルを選択できるかを体系的に評価する研究はほとんどない。
このギャップを埋めるために,我々は,この仮定が異なる層や分解の種類にまたがっているか,微調整の効果がどのようなものかを検証する実験を行った。
分析で圧縮層から得られた特徴に近似誤差を含め、データが明示的に考慮されているように、より優れたプロキシを提供するかどうかをテストします。
その結果, 重みの近似誤差は, 性能誤差と, 微調整前後の正の相関を示すことがわかった。
特徴量に対する近似誤差を用いると相関性は著しく改善しない。
近似誤差のスケーリングは、層の大きさの違いを考慮するのに一般的に使用されるが、微調整の前にすべての選択(層、分解、圧縮レベルなど)の平均的な相関は小さい。
異なる分解間の相関を計算するとき、平均階数相関はすべての選択よりも大きい。
これは、圧縮のために複数の分解を考慮でき、近似誤差を使ってそれらを選択できることを意味する。
関連論文リスト
- Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。
最適化向上の手段として勾配圧縮法が提案されている。
我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
論文 参考訳（メタデータ） (2024-11-19T22:26:42Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Unified Multivariate Gaussian Mixture for Efficient Neural Image
Compression [151.3826781154146]
先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。
ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。
当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
論文 参考訳（メタデータ） (2022-03-21T11:44:17Z) - Low-rank Tensor Decomposition for Compression of Convolutional Neural
Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。
圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。
ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文 参考訳（メタデータ） (2021-12-07T13:41:51Z) - Compressing Neural Networks: Towards Determining the Optimal Layer-wise
Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。
各層を自動的に解析し、最適な層間圧縮比を特定する。
我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文 参考訳（メタデータ） (2021-07-23T20:01:30Z) - Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。
ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。
本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文 参考訳（メタデータ） (2021-06-06T19:08:53Z) - Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。
これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
論文 参考訳（メタデータ） (2020-08-19T08:03:09Z) - A Unified Weight Learning and Low-Rank Regression Model for Robust
Complex Error Modeling [12.287346997617542]
回帰ベースのエラーモデルにおける最も重要な問題の1つは、画像の様々な汚職環境変化に起因する複雑な表現誤差をモデル化することである。
本稿では,画像中のランダムノイズを同時に扱えるような,統一的な重み学習と低ランク近似回帰モデルを提案する。
論文 参考訳（メタデータ） (2020-05-10T09:50:14Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。