論文の概要: Squeeze-Release: Iterative Pruning with Exact Structural Minimization

• arxiv url: http://arxiv.org/abs/2606.14346v1
• Date: Fri, 12 Jun 2026 11:00:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.868477
• Title: Squeeze-Release: Iterative Pruning with Exact Structural Minimization
• Title（参考訳）: Squeeze-Release: 構造最小化による反復処理
• Authors: Roman Denkin, Ida Akerholm, Prashant Singh, Ida-Maria Sintorn,
• Abstract要約: マスクされたネットワークを、同じ前方機能を持つより小さな高密度ネットワークに変換し、浮動小数点ラウンドリングに変換する構造的書き換えを、我々は最小化と呼ぶ。 書き直しがトランスフォーマーアーキテクチャに拡張可能であることを証明します。
• 参考スコア（独自算出の注目度）: 2.7843413352282
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Unstructured pruning produces sparse weight tensors, but the standard implementation keeps tensor shapes unchanged so the deployed model is no smaller than before pruning. We present an exact structural rewrite, which we call minimization, that converts a masked network into a smaller dense network with the same forward function up to floating-point rounding. The Squeeze-Release cycle iterates pruning and minimization with an intermediate release step that re-enables the exact-zero positions inside the compacted tensors as small calibrated noise, turning otherwise wasted capacity back into trainable parameters. Successive cycles use that capacity to find structural redundancy a single pass cannot reach. We additionally introduce CompensatedLayerNorm, a function-preserving replacement for LayerNorm that extends minimization to channel reduction across LayerNorm-equipped residual streams. Squeeze-Release compresses the deployable network to 39x smaller than the unpruned model on a fully-connected model network and 14.8x smaller on modern CNN (ConvNeXt-Tiny), at comparable accuracy. In addition we prove that the rewrite can be extended to transformer architectures.
• Abstract（参考訳）: 非構造化プルーニングはスパーステンソルを生成するが、標準実装ではテンソル形状が変化せず、デプロイされたモデルはプルーニング前よりも小さくない。 マスクされたネットワークを、同じ前方機能を持つより小さな高密度ネットワークに変換し、浮動小数点ラウンドリングに変換する構造的書き換えを、我々は最小化と呼ぶ。 Squeeze-Releaseサイクルはプルーニングと最小化を中間リリースステップで繰り返し行い、コンパクトテンソル内の正確なゼロ位置を小さな校正ノイズとして再実現し、それ以外の時間の無駄な容量をトレーニング可能なパラメータに戻す。 連続的なサイクルは、単一のパスが到達できない構造的冗長性を見つけるためにその能力を使用する。 また、LayerNormの関数保存代替であるCompensatedLayerNormを導入します。 Squeeze-Releaseはデプロイ可能なネットワークを、完全に接続されたモデルネットワーク上の未実行モデルよりも39倍小さく、現在のCNN(ConvNeXt-Tiny)では14.8倍小さく圧縮する。 さらに、リライトがトランスフォーマーアーキテクチャに拡張可能であることを証明する。

関連論文リスト

• Unleashing Degradation-Carrying Features in Symmetric U-Net: Simpler and Stronger Baselines for All-in-One Image Restoration [52.82397287366076]
  オールインワン画像復元は、統合された枠組み内で様々な劣化(ノイズ、ぼかし、悪天候など)を扱うことを目的としている。 本研究では, 優れた特徴抽出法により, 劣化伝達情報を本質的にエンコードする, 重要な知見を明らかにする。 我々の対称設計は固有の劣化信号を頑健に保存し、スキップ接続に単純な加法融合を施す。
  論文  参考訳（メタデータ） (2025-12-11T12:20:31Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
  レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。 残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。 本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-11-29T12:51:16Z)
• Tensor Reordering for CNN Compression [7.228285747845778]
  畳み込みニューラルネットワーク(CNN)フィルタにおけるパラメータ冗長性は,スペクトル領域におけるプルーニングによって効果的に低減できることを示す。 提案手法は事前学習したCNNに対して適用され,最小限の微調整により元のモデル性能を回復できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T23:45:34Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。