論文の概要: Neural expressiveness for beyond importance model compression
- arxiv url: http://arxiv.org/abs/2512.06440v1
- Date: Sat, 06 Dec 2025 14:07:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-09 22:03:54.362642
- Title: Neural expressiveness for beyond importance model compression
- Title（参考訳）: 重要モデル圧縮を超越したニューラル表現性
- Authors: Angelos-Christos Maroudis, Sotirios Xydis,
- Abstract要約: 表現性(Expressiveness)というモデル圧縮のための新しい基準を導入する。
表現力は、情報資源を効果的に再分配するニューロンまたはニューロンのグループを強調する。
表現性は任意のデータや限られたデータセットの代表サンプルと効果的に近似されていることを示す。
- 参考スコア（独自算出の注目度）: 2.536703706045127
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Neural Network Pruning has been established as driving force in the exploration of memory and energy efficient solutions with high throughput both during training and at test time. In this paper, we introduce a novel criterion for model compression, named "Expressiveness". Unlike existing pruning methods that rely on the inherent "Importance" of neurons' and filters' weights, ``Expressiveness" emphasizes a neuron's or group of neurons ability to redistribute informational resources effectively, based on the overlap of activations. This characteristic is strongly correlated to a network's initialization state, establishing criterion autonomy from the learning state stateless and thus setting a new fundamental basis for the expansion of compression strategies in regards to the "When to Prune" question. We show that expressiveness is effectively approximated with arbitrary data or limited dataset's representative samples, making ground for the exploration of Data-Agnostic strategies. Our work also facilitates a "hybrid" formulation of expressiveness and importance-based pruning strategies, illustrating their complementary benefits and delivering up to 10x extra gains w.r.t. weight-based approaches in parameter compression ratios, with an average of 1% in performance degradation. We also show that employing expressiveness (independently) for pruning leads to an improvement over top-performing and foundational methods in terms of compression efficiency. Finally, on YOLOv8, we achieve a 46.1% MACs reduction by removing 55.4\% of the parameters, with an increase of 3% in the mean Absolute Precision ($mAP_{50-95}$) for object detection on COCO dataset.
- Abstract（参考訳）: ニューラルネットワークのプルーニングは、トレーニング中とテスト時の両方で高いスループットでメモリとエネルギー効率のソリューションを探索する原動力として確立されている。
本稿では,「表現性」というモデル圧縮のための新しい基準を提案する。
ニューロンの「重要度」とフィルタの重み付けに依拠する既存のプルーニング法とは違って、「圧縮性」は、活性化の重複に基づいて情報資源を効果的に再分配するニューロン群やニューロン群を強調している。この特徴は、ネットワークの初期化状態と強く相関し、学習状態から自律性を確立し、"Prune"問題に関する圧縮戦略の拡張に新たな基本基盤を定めている。表現性は、任意のデータや限られたデータセットの代表的なサンプルと有効に近似し、データ-非依存戦略の探索の基盤となることを示します。
また, プレニングにおける表現性(非独立性)の活用は, 圧縮効率の観点から, トップパフォーマンス, 基礎的手法よりも向上することを示した。
最後に YOLOv8 では,パラメータの 55.4 % を除去して 46.1% のMAC 削減を実現し,COCO データセット上でのオブジェクト検出における平均絶対精度 (mAP_{50-95}$) の 3% の増加を実現した。
関連論文リスト
- Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。
KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
論文 参考訳（メタデータ） (2025-10-23T07:12:26Z) - Linearity-based neural network compression [1.2200609701777907]
この圧縮の基礎となる理論を導入し,そのアプローチを実験的に評価する。
すでに重要度に基づくプルーニングモデルに本手法を適用すると、異なるタイプの圧縮の干渉がほとんどない。
論文 参考訳（メタデータ） (2025-06-26T11:04:12Z) - Stochastic Forward-Forward Learning through Representational Dimensionality Compression [14.020257767487323]
本稿では, 2次統計構造を組み込むために, 変動するニューラルレスポンスの有効次元を用いた新しい良性関数次元圧縮を提案する。
本研究は, より生物学的に検証可能な学習アルゴリズムの開発に寄与し, ニューロモルフィックコンピューティングに自然に適合することが示唆された。
論文 参考訳（メタデータ） (2025-05-22T13:19:29Z) - Compressed Regression over Adaptive Networks [58.79251288443156]
分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。
エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
論文 参考訳（メタデータ） (2023-04-07T13:41:08Z) - Modality-Agnostic Variational Compression of Implicit Neural
Representations [96.35492043867104]
Inlicit Neural Representation (INR) としてパラメータ化されたデータの関数的ビューに基づくモーダリティ非依存型ニューラル圧縮アルゴリズムを提案する。
潜時符号化と疎性の間のギャップを埋めて、ソフトゲーティング機構に非直線的にマッピングされたコンパクト潜時表現を得る。
このような潜在表現のデータセットを得た後、ニューラル圧縮を用いてモーダリティ非依存空間におけるレート/歪みトレードオフを直接最適化する。
論文 参考訳（メタデータ） (2023-01-23T15:22:42Z) - WeightMom: Learning Sparse Networks using Iterative Momentum-based
pruning [0.0]
本稿では,前回の繰り返しの運動量に基づいて徐々に重みを刈り取る,重みに基づくプルーニング手法を提案する。
我々は,CIFAR-10やCIFAR-100といった画像分類データセットを用いて,AlexNet,VGG16,ResNet50などのネットワークに対するアプローチを評価する。
論文 参考訳（メタデータ） (2022-08-11T07:13:59Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - An Efficient Statistical-based Gradient Compression Technique for
Distributed Training Systems [77.88178159830905]
Sparsity-Inducing Distribution-based Compression (SIDCo) は閾値に基づくスペーシフィケーションスキームであり、DGCと同等のしきい値推定品質を享受する。
SIDCoは,非圧縮ベースライン,Topk,DGC圧縮機と比較して,最大で41:7%,7:6%,1:9%の速度でトレーニングを高速化する。
論文 参考訳（メタデータ） (2021-01-26T13:06:00Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳（メタデータ） (2020-09-29T07:08:35Z) - Data-Independent Structured Pruning of Neural Networks via Coresets [21.436706159840018]
本稿では, 圧縮率と将来の試験試料の近似誤差とのトレードオフが証明可能な最初の効率的な構造化プルーニングアルゴリズムを提案する。
これまでの作業とは異なり、コアセットはデータ独立であり、逆数を含む任意の入力$xin mathbbRd$に対して関数の精度を確実に保証します。
論文 参考訳（メタデータ） (2020-08-19T08:03:09Z) - Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。
その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
論文 参考訳（メタデータ） (2020-05-28T15:13:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。