Fugu-MT 論文翻訳(概要): Efficient CNN Compression via Multi-method Low Rank Factorization and Feature Map Similarity

論文の概要: Efficient CNN Compression via Multi-method Low Rank Factorization and Feature Map Similarity

arxiv url: http://arxiv.org/abs/2510.00062v1
Date: Mon, 29 Sep 2025 08:44:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-03 16:59:20.152063
Title: Efficient CNN Compression via Multi-method Low Rank Factorization and Feature Map Similarity
Title（参考訳）: マルチメソッド低ランク因子化と特徴マップ類似性による効率的なCNN圧縮
Authors: M. Kokhazadeh, G. Keramidas, V. Kelefouras,
Abstract要約: 低ランク因子化(LRF)はディープニューラルネットワーク(DNN)の圧縮技術として広く採用されている。最適なランク選択、広大な設計空間、長い微調整時間、異なるレイヤタイプや分解方法との互換性の制限など、いくつかの課題に直面している。本稿では,CNNの圧縮のためのエンドツーエンド設計空間探索手法とフレームワークを提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Factorization (LRF) is a widely adopted technique for compressing deep neural networks (DNNs). However, it faces several challenges, including optimal rank selection, a vast design space, long fine-tuning times, and limited compatibility with different layer types and decomposition methods. This paper presents an end-to-end Design Space Exploration (DSE) methodology and framework for compressing convolutional neural networks (CNNs) that addresses all these issues. We introduce a novel rank selection strategy based on feature map similarity, which captures non-linear interactions between layer outputs more effectively than traditional weight-based approaches. Unlike prior works, our method uses a one-shot fine-tuning process, significantly reducing the overall fine-tuning time. The proposed framework is fully compatible with all types of convolutional (Conv) and fully connected (FC) layers. To further improve compression, the framework integrates three different LRF techniques for Conv layers and three for FC layers, applying them selectively on a per-layer basis. We demonstrate that combining multiple LRF methods within a single model yields better compression results than using a single method uniformly across all layers. Finally, we provide a comprehensive evaluation and comparison of the six LRF techniques, offering practical insights into their effectiveness across different scenarios. The proposed work is integrated into TensorFlow 2.x, ensuring compatibility with widely used deep learning workflows. Experimental results on 14 CNN models across eight datasets demonstrate that the proposed methodology achieves substantial compression with minimal accuracy loss, outperforming several state-of-the-art techniques.
Abstract（参考訳）: 低ランク因子化(LRF)はディープニューラルネットワーク(DNN)の圧縮技術として広く採用されている。しかし、最適な階数選択、広大な設計空間、長い微調整時間、異なる層タイプや分解方法との互換性の制限など、いくつかの課題に直面している。本稿では,これらの問題に対処する畳み込みニューラルネットワーク(CNN)を圧縮するための,エンドツーエンドの設計空間探索(DSE)手法とフレームワークを提案する。特徴写像の類似性に基づく新しい階数選択戦略を導入し,従来の重み付け手法よりも効率的に層出力間の非線形相互作用を捉える。従来の方法とは異なり,本手法では1ショットの微調整プロセスを使用し,全体的な微調整時間を著しく短縮する。提案するフレームワークは,すべてのタイプの畳み込み(Conv)層と完全連結(FC)層と完全に互換性がある。圧縮をさらに改善するため、このフレームワークは3つの異なるLRF技術をConv層と3つのFC層に統合し、層ごとに選択的に適用する。一つのモデルに複数のRF法を組み合わせることで、すべての層に一様に1つの方法を使用するよりも、より優れた圧縮結果が得られることを示す。最後に、6つのRF手法の総合的な評価と比較を行い、異なるシナリオにおけるそれらの有効性に関する実践的な洞察を提供する。提案された作業はTensorFlow 2.xに統合され、広く使用されているディープラーニングワークフローとの互換性を保証する。 8つのデータセットにまたがる14のCNNモデルに対する実験結果から,提案手法は精度の低下を最小限に抑え,いくつかの最先端技術を上回る精度の圧縮を実現することが示された。

関連論文リスト

COMPASS: High-Efficiency Deep Image Compression with Arbitrary-scale Spatial Scalability [28.270200666064163]
本稿では,任意の空間拡張性をサポートする,新しいNNベースの空間拡張性画像圧縮手法Compassを提案する。提案したコンパスは, 層数とそのスケール因子を任意に推定できる, 非常に柔軟な構造を有する。実験結果から,我々のコンパスは, SHVCと最先端NNベース空間拡張画像圧縮法と比較して, 最大で-58.33%, 最大で-47.17%のBDレートを達成できた。
論文参考訳（メタデータ） (2023-09-11T14:05:18Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
ConvBLS: An Effective and Efficient Incremental Convolutional Broad Learning System for Image Classification [63.49762079000726]
球状K-means(SKM)アルゴリズムと2段階マルチスケール(TSMS)機能融合に基づく畳み込み広範学習システム(ConvBLS)を提案する。提案手法は前代未聞の効率的かつ効果的である。
論文参考訳（メタデータ） (2023-04-01T04:16:12Z)
Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
論文参考訳（メタデータ） (2023-02-15T12:02:30Z)
Boosting the Efficiency of Parametric Detection with Hierarchical Neural Networks [4.1410005218338695]
高速検出のための新しい手法として階層型検出ネットワーク(HDN)を提案する。ネットワークは、統計的精度と効率の目標を同時に符号化する新しい損失関数を用いて訓練される。 2層モデルを用いた3層HDNのトレーニングにより,精度と効率が向上することを示す。
論文参考訳（メタデータ） (2022-07-23T19:23:00Z)
STD-NET: Search of Image Steganalytic Deep-learning Architecture via Hierarchical Tensor Decomposition [40.997546601209145]
STD-NETは階層的テンソル分解による教師なしディープラーニングアーキテクチャ探索手法である。提案手法は,従来のステガナティックネットワーク圧縮法に比べて効率が高く,冗長性も高い。
論文参考訳（メタデータ） (2022-06-12T03:46:08Z)
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
論文参考訳（メタデータ） (2021-12-07T13:41:51Z)
Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。各層を自動的に解析し、最適な層間圧縮比を特定する。我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
論文参考訳（メタデータ） (2021-07-23T20:01:30Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification [58.20132466198622]
そこで我々は,CutMixに基づく自然拡張拡張戦略であるAttentive CutMixを提案する。各トレーニングイテレーションにおいて、特徴抽出器から中間注意マップに基づいて最も記述性の高い領域を選択する。提案手法は単純かつ有効であり,実装が容易であり,ベースラインを大幅に向上させることができる。
論文参考訳（メタデータ） (2020-03-29T15:01:05Z)
Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文参考訳（メタデータ） (2020-03-23T17:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。