論文の概要: Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2511.04494v1
• Date: Thu, 06 Nov 2025 16:15:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.494863
• Title: Distribution-Aware Tensor Decomposition for Compression of Convolutional Neural Networks
• Title（参考訳）: 畳み込みニューラルネットワークの圧縮のための分布を考慮したテンソル分解
• Authors: Alper Kalle, Theo Rudkiewicz, Mohamed-Oumar Ouerfelli, Mohamed Tamaazousti,
• Abstract要約: テンソル化と低ランク表現による圧縮に焦点を当てる。 2つの最も一般的なテンソル分解に対する交代最小二乗アルゴリズムを提案する。 我々のデータインフォームドアプローチは、微調整なしで競争精度を達成できることが多い。
• 参考スコア（独自算出の注目度）: 4.322339935902436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural networks are widely used for image-related tasks but typically demand considerable computing power. Once a network has been trained, however, its memory- and compute-footprint can be reduced by compression. In this work, we focus on compression through tensorization and low-rank representations. Whereas classical approaches search for a low-rank approximation by minimizing an isotropic norm such as the Frobenius norm in weight-space, we use data-informed norms that measure the error in function space. Concretely, we minimize the change in the layer's output distribution, which can be expressed as $\lVert (W - \widetilde{W}) \Sigma^{1/2}\rVert_F$ where $\Sigma^{1/2}$ is the square root of the covariance matrix of the layer's input and $W$, $\widetilde{W}$ are the original and compressed weights. We propose new alternating least square algorithms for the two most common tensor decompositions (Tucker-2 and CPD) that directly optimize the new norm. Unlike conventional compression pipelines, which almost always require post-compression fine-tuning, our data-informed approach often achieves competitive accuracy without any fine-tuning. We further show that the same covariance-based norm can be transferred from one dataset to another with only a minor accuracy drop, enabling compression even when the original training dataset is unavailable. Experiments on several CNN architectures (ResNet-18/50, and GoogLeNet) and datasets (ImageNet, FGVC-Aircraft, Cifar10, and Cifar100) confirm the advantages of the proposed method.
• Abstract（参考訳）: ニューラルネットワークは画像関連のタスクに広く使われているが、通常はかなりの計算能力を必要とする。 しかし、一度ネットワークが訓練されると、そのメモリと計算フットプリントは圧縮によって削減される。 本研究ではテンソル化と低ランク表現による圧縮に焦点を当てる。 古典的なアプローチでは、重み空間におけるフロベニウスノルムのような等方ノルムを最小化して低ランク近似を求めるが、関数空間における誤差を測定するデータインフォームドノルムを用いる。 具体的には、層の出力分布の変化を最小限に抑え、$\lVert (W - \widetilde{W}) \Sigma^{1/2}\rVert_F$ ここで、$\Sigma^{1/2}$は層の入力の共分散行列の平方根であり、$W$, $\widetilde{W}$は原重で圧縮された重みである。 本稿では,2つの最も一般的なテンソル分解 (Tucker-2 と CPD) に対して,新しいノルムを直接最適化する最小二乗アルゴリズムを提案する。 圧縮後微調整を必要とする従来の圧縮パイプラインとは異なり、データインフォームドアプローチは微調整なしで競争精度を達成できることが多い。 さらに、同じ共分散ベースの規範を、わずかな精度の低下だけで、あるデータセットから別のデータセットに転送できることを示し、元のトレーニングデータセットが利用できない場合でも圧縮を可能にする。 いくつかのCNNアーキテクチャ(ResNet-18/50、GoogLeNet)とデータセット(ImageNet、FGVC-Aircraft、Cifar10、Cifar100)の実験により、提案手法の利点が確認された。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Compression of Structured Data with Autoencoders: Provable Benefit of Nonlinearities and Depth [83.15263499262824]
  勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。 浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。 CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
  論文  参考訳（メタデータ） (2024-02-07T16:32:29Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• An Information Theory-inspired Strategy for Automatic Network Pruning [97.03772272417599]
  深層畳み込みニューラルネットワークは、リソース制約のあるデバイスで圧縮されることがよく知られている。 既存のネットワークプルーニング手法の多くは、人的努力と禁忌な計算資源を必要とする。 本稿では,自動モデル圧縮のための情報理論に基づく戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-19T07:03:22Z)
• Permute, Quantize, and Fine-tune: Efficient Compression of Neural Networks [70.0243910593064]
  ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。 本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。 次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
  論文  参考訳（メタデータ） (2020-10-29T15:47:26Z)
• Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
  本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。 これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
  論文  参考訳（メタデータ） (2020-08-19T08:03:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。