論文の概要: Linearity-based neural network compression

• arxiv url: http://arxiv.org/abs/2506.21146v1
• Date: Thu, 26 Jun 2025 11:04:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:10.056062
• Title: Linearity-based neural network compression
• Title（参考訳）: 線形性に基づくニューラルネットワーク圧縮
• Authors: Silas Dobler, Florian Lemmerich,
• Abstract要約: この圧縮の基礎となる理論を導入し,そのアプローチを実験的に評価する。 すでに重要度に基づくプルーニングモデルに本手法を適用すると、異なるタイプの圧縮の干渉がほとんどない。
• 参考スコア（独自算出の注目度）: 1.2200609701777907
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In neural network compression, most current methods reduce unnecessary parameters by measuring importance and redundancy. To augment already highly optimized existing solutions, we propose linearity-based compression as a novel way to reduce weights in a neural network. It is based on the intuition that with ReLU-like activation functions, neurons that are almost always activated behave linearly, allowing for merging of subsequent layers. We introduce the theory underlying this compression and evaluate our approach experimentally. Our novel method achieves a lossless compression down to 1/4 of the original model size in over the majority of tested models. Applying our method on already importance-based pruned models shows very little interference between different types of compression, demonstrating the option of successful combination of techniques. Overall, our work lays the foundation for a new type of compression method that enables smaller and ultimately more efficient neural network models.
• Abstract（参考訳）: ニューラルネットワーク圧縮では、ほとんどの現行の手法は、重要度と冗長性を測定することによって不要なパラメータを減らす。 すでに高度に最適化された既存のソリューションを強化するために、ニューラルネットワークの重みを減らす新しい方法として線形性に基づく圧縮を提案する。 これは、ReLU様の活性化機能により、ほとんど常に活性化されるニューロンが線形に振舞い、その後の層をマージできるという直感に基づいている。 この圧縮の基礎となる理論を導入し,そのアプローチを実験的に評価する。 提案手法は,テストモデルの大部分において,元のモデルサイズを1/4まで圧縮する無損失圧縮を実現する。 すでに重要度に基づくプルーニングモデルにメソッドを適用すると、異なるタイプの圧縮の干渉がほとんどなく、技術の組み合わせを成功させる選択肢が示される。 全体として、我々の研究は、より小さく、究極的にはより効率的なニューラルネットワークモデルを可能にする新しいタイプの圧縮方法の基礎を築いた。

関連論文リスト

• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• CompactifAI: Extreme Compression of Large Language Models using Quantum-Inspired Tensor Networks [1.5199992713356987]
  本稿では、量子インスパイアされたネットワークを用いた革新的な圧縮手法であるCompactifAIを紹介する。 我々の手法は万能であり、他の圧縮技術で実装することができる。 ベンチマークとして、CompactifAIと量子化の組み合わせにより、LlaMA 7Bの93%のメモリサイズを削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-25T11:45:21Z)
• Approximating Continuous Convolutions for Deep Network Compression [11.566258236184964]
  本稿では,畳み込みニューラルネットワークの層を圧縮する新しい手法であるApproxConvを提案する。 提案手法では,既存の深層ネットワークモデルを半分に圧縮できるが,精度は1.86%に留まる。
  論文  参考訳（メタデータ） (2022-10-17T11:41:26Z)
• A Theoretical Understanding of Neural Network Compression from Sparse Linear Approximation [37.525277809849776]
  モデル圧縮の目標は、同等のパフォーマンスを維持しながら、大きなニューラルネットワークのサイズを減らすことだ。 圧縮性を特徴付けるためにスペーサ感度$ell_q$-normを使用し、ネットワーク内の重みの柔らかいスペーサと圧縮度の関係を提供する。 また,ネットワーク上で各ニューロンを切断する適応アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-06-11T20:10:35Z)
• Estimating the Resize Parameter in End-to-end Learned Image Compression [50.20567320015102]
  本稿では,最近の画像圧縮モデルの速度歪みトレードオフをさらに改善する検索自由化フレームワークについて述べる。 提案手法により,Bjontegaard-Deltaレート(BD-rate)を最大10%向上させることができる。
  論文  参考訳（メタデータ） (2022-04-26T01:35:02Z)
• Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization [1.8579693774597708]
  低ランクテンソル分解を用いた事前学習ネットワークを圧縮するモデル削減手法を提案する。 圧縮中の重要でない要因を抑えるために, ファンネル関数と呼ばれる新しい正規化法を提案する。 ImageNet2012のResNet18では、GMACの精度は0.7%に過ぎず、Top-1の精度はわずかに低下する。
  論文  参考訳（メタデータ） (2021-12-07T13:41:51Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Compressing Neural Networks: Towards Determining the Optimal Layer-wise Decomposition [62.41259783906452]
  本稿では,ディープニューラルネットワークのための新しいグローバル圧縮フレームワークを提案する。 各層を自動的に解析し、最適な層間圧縮比を特定する。 我々の結果は、現代のニューラルネットワークのグローバルなパフォーマンス-サイズトレードオフに関する将来の研究のための新たな道を開く。
  論文  参考訳（メタデータ） (2021-07-23T20:01:30Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• Exploiting Non-Linear Redundancy for Neural Model Compression [26.211513643079993]
  本稿では,線形依存の活用に基づく新しいモデル圧縮手法を提案する。 その結果,ネットワークサイズが最大99%減少し,性能が低下することがわかった。
  論文  参考訳（メタデータ） (2020-05-28T15:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。