Fugu-MT 論文翻訳(概要): Low-Rank Matrix Approximation for Neural Network Compression

論文の概要: Low-Rank Matrix Approximation for Neural Network Compression

arxiv url: http://arxiv.org/abs/2504.20078v1
Date: Fri, 25 Apr 2025 06:04:01 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:54.566027
Title: Low-Rank Matrix Approximation for Neural Network Compression
Title（参考訳）: ニューラルネットワーク圧縮のための低ランク行列近似
Authors: Kalyan Cherukuri, Aarav Lala,
Abstract要約: 適応ランク特異値分解(ARSVD)を導入する。 ARSVDはエネルギー消費の一定の閾値以下で完全に連結された層のランクアップを動的に選択する。本手法は, 分類精度を損なうことなく, 精度の高いモデル圧縮を実現することができることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Deep Neural Networks (DNNs) are often constrained by their large memories and computational restrictions. In this paper, we introduce a novel adaptive-rank Singular Value Decomposition (ARSVD) that dynamically chooses the rank increase of the fully connected layers below a certain threshold in energy expenditure. Unlike conventional SVD compression methods that apply a fixed rank reduction in all layers, our ARSVD method uses energy distribution to adaptively select rank per layer while retaining accuracy. This is done for each layer in an effort to use as much energy as possible while maintaining the lowest accuracy loss. Such accuracy-adaptive approaches outperform traditional static rank reduction methods by providing an improved balance between compression and model performance. We first train a simple Multi-Layer Perceptron (MLP) on the MNIST, CIFAR-10, and CIFAR-100 dataset and evaluate its performance using accuracy and F1-score. After applying ARSVD, our results demonstrate that the technique can achieve substantial model compression without compromising classification accuracy. These results illustrate the usefulness of ARSVD in computing scenarios where both computational and memory resources are scarce.
Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、大きな記憶と計算上の制約によって制約されることが多い。本稿では,エネルギー消費の一定のしきい値以下で全連結層のランクアップを動的に選択する適応ランク特異値分解(ARSVD)を提案する。従来のSVD圧縮法とは異なり,ARSVD法ではエネルギー分布を用いて各層ごとのランクを適応的に選択し,精度を保っている。これは、最小の精度の損失を維持しながら、可能な限り多くのエネルギーを使用するために、各層に対して行われる。このような精度適応的なアプローチは、圧縮とモデル性能のバランスを改善することによって、従来の静的ランク低減手法より優れている。まず,MNIST,CIFAR-10,CIFAR-100データセット上でMLP(Multi-Layer Perceptron)をトレーニングし,精度とF1スコアを用いてその性能を評価する。また,ARSVDを適用した結果,分類精度を損なうことなく,精度の高いモデル圧縮を実現することができた。これらの結果は,計算資源とメモリ資源が不足する計算シナリオにおけるARSVDの有用性を示している。

関連論文リスト

Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
論文参考訳（メタデータ） (2024-09-26T13:38:33Z)
Convolutional Neural Network Compression Based on Low-Rank Decomposition [3.3295360710329738]
本稿では,変分ベイズ行列分解を組み込んだモデル圧縮法を提案する。 VBMFは各層における重みテンソルのランクを推定するために用いられる。その結果, 高圧縮比と低圧縮比では, 圧縮モデルの性能が向上することがわかった。
論文参考訳（メタデータ） (2024-08-29T06:40:34Z)
Structure-Preserving Network Compression Via Low-Rank Induced Training Through Linear Layers Composition [11.399520888150468]
ローランド誘導訓練(LoRITa)と呼ばれる理論的修正手法を提案する。 LoRITaは線形層を構成することで低ランク化を促進し、特異値切り込みを用いて圧縮する。我々は,完全連結ネットワーク上でのMNIST,視覚変換器上でのCIFAR10,畳み込みニューラルネットワーク上でのCIFAR10/100と画像ネットを用いたアプローチの有効性を示す。
論文参考訳（メタデータ） (2024-05-06T00:58:23Z)
Improving Covariance Conditioning of the SVD Meta-layer by Orthogonality [65.67315418971688]
最寄り直交勾配(NOG)と最適学習率(OLR)を提案する。視覚認識実験は,共分散条件と一般化を同時に改善できることを実証した。
論文参考訳（メタデータ） (2022-07-05T15:39:29Z)
BiTAT: Neural Network Binarization with Task-dependent Aggregated Transformation [116.26521375592759]
量子化は、与えられたニューラルネットワークの高精度ウェイトとアクティベーションを、メモリ使用量と計算量を減らすために、低精度ウェイト/アクティベーションに変換することを目的としている。コンパクトに設計されたバックボーンアーキテクチャの極端量子化(1ビットの重み/1ビットのアクティベーション)は、深刻な性能劣化をもたらす。本稿では,性能劣化を効果的に緩和する新しいQAT法を提案する。
論文参考訳（メタデータ） (2022-07-04T13:25:49Z)
FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文参考訳（メタデータ） (2022-04-10T11:38:33Z)
Learning Robust and Lightweight Model through Separable Structured Transformations [13.208781763887947]
本稿では、畳み込みニューラルネットワークのパラメータを低減するために、完全連結層を分離可能な構造変換を提案する。ネットワークパラメータの90%削減に成功し、ロバストな精度損失は1.5%未満である。我々は、ImageNet、SVHN、CIFAR-100、Vision Transformerなどのデータセットに対する提案手法を評価する。
論文参考訳（メタデータ） (2021-12-27T07:25:26Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Sharpness-aware Quantization for Deep Neural Networks [45.150346855368]
シャープネス・アウェア量子化(SAQ)は,シャープネス・アウェア最小化(SAM)がモデル圧縮に与える影響を探索する新しい手法である。本研究では,SAQにより量子化モデルの一般化性能が向上し,SOTAの結果が均一に量子化されることを示す。
論文参考訳（メタデータ） (2021-11-24T05:16:41Z)
An Efficient Statistical-based Gradient Compression Technique for Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。 SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文参考訳（メタデータ） (2021-01-26T13:06:00Z)
A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of DNNs [8.597091257152567]
敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
論文参考訳（メタデータ） (2020-11-03T19:49:00Z)
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
論文参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。