論文の概要: Application-Specific Component-Aware Structured Pruning of Deep Neural Networks via Soft Coefficient Optimization

• arxiv url: http://arxiv.org/abs/2507.14882v1
• Date: Sun, 20 Jul 2025 09:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.104427
• Title: Application-Specific Component-Aware Structured Pruning of Deep Neural Networks via Soft Coefficient Optimization
• Title（参考訳）: ソフト係数最適化による深部ニューラルネットワークの成分認識構造解析
• Authors: Ganesh Sundaram, Jonas Ulmen, Amjad Haider, Daniel Görges,
• Abstract要約: アプリケーション固有のパフォーマンス特性が圧縮中に確実に保持されることは、依然として重要です。 構造的コヒーレントな要素群が取り除かれた構造化プルーニングでは、従来の重要な指標はこれらの重要な性能特性を維持できないことが多い。 本稿では,モデルのサイズを縮小するだけでなく,アプリケーション固有の性能制約を明示的に考慮した重要度測定フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 1.6874375111244326
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep neural networks (DNNs) offer significant versatility and performance benefits, but their widespread adoption is often hindered by high model complexity and computational demands. Model compression techniques such as pruning have emerged as promising solutions to these challenges. However, it remains critical to ensure that application-specific performance characteristics are preserved during compression. In structured pruning, where groups of structurally coherent elements are removed, conventional importance metrics frequently fail to maintain these essential performance attributes. In this work, we propose an enhanced importance metric framework that not only reduces model size but also explicitly accounts for application-specific performance constraints. We employ multiple strategies to determine the optimal pruning magnitude for each group, ensuring a balance between compression and task performance. Our approach is evaluated on an autoencoder tasked with reconstructing MNIST images. Experimental results demonstrate that the proposed method effectively preserves task-relevant performance, maintaining the model's usability even after substantial pruning, by satisfying the required application-specific criteria.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、大きな汎用性とパフォーマンス上のメリットを提供するが、その普及は、高モデルの複雑さと計算上の要求によって妨げられることが多い。 プルーニングのようなモデル圧縮技術は、これらの課題に対する有望な解決策として現れてきた。 しかし、アプリケーション固有の性能特性が圧縮中に確実に保持されることは、依然として重要です。 構造的コヒーレントな要素群が取り除かれた構造化プルーニングでは、従来の重要な指標はこれらの重要な性能特性を維持できないことが多い。 本研究では,モデルのサイズを小さくするだけでなく,アプリケーション固有の性能制約を明示的に考慮した重要度測定フレームワークを提案する。 圧縮性能とタスク性能のバランスを保ちながら,各グループ毎の最適刈り取り量を決定するために,複数の戦略を採用している。 本手法は,MNIST画像の再構成を行うオートエンコーダを用いて評価する。 実験結果から,本手法は課題関連性能を効果的に維持し,必要なアプリケーション固有の基準を満たすことにより,実質的なプルーニング後もモデルのユーザビリティを維持できることが示唆された。

関連論文リスト

• InvFussion: Bridging Supervised and Zero-shot Diffusion for Inverse Problems [76.39776789410088]
  この研究は、教師付きアプローチの強いパフォーマンスとゼロショットメソッドの柔軟性を組み合わせたフレームワークを導入している。 新規なアーキテクチャ設計では、分解演算子を直接デノイザにシームレスに統合する。 FFHQとImageNetデータセットの実験結果は、最先端の後方サンプリング性能を示している。
  論文  参考訳（メタデータ） (2025-04-02T12:40:57Z)
• Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
  リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。 本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。 既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
  論文  参考訳（メタデータ） (2025-02-23T10:11:38Z)
• Optimizing Singular Spectrum for Large Language Model Compression [95.7621116637755]
  SVDの分解したコンポーネントをデータ駆動で再スケールする新しい圧縮フレームワークであるSoCoを紹介する。 学習可能な特異スペクトルのおかげで、SoCoは重要度スコアに応じて成分を適応的にプーンする。 複数のLLMおよびベンチマークでの実験的な評価は、SoCoがモデル圧縮における最先端の手法を超越していることを示している。
  論文  参考訳（メタデータ） (2025-02-20T23:18:39Z)
• Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models [1.5807079236265718]
  KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである Kenは、最適化されたトランスフォーマーを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。 Kenは、元の未実行バージョンと同等かそれ以上のパフォーマンスを達成し、パラメータの最小25%の削減を実現している。
  論文  参考訳（メタデータ） (2024-02-05T16:11:43Z)
• Integrating Fairness and Model Pruning Through Bi-level Optimization [16.213634992886384]
  フェアネス基準に準拠したスパースモデルを開発することを含む、フェアモデルプルーニングという新しい概念を導入する。 特に,プルーニングマスクと重み更新処理を公平性制約で協調的に最適化する枠組みを提案する。 このフレームワークは、統一されたプロセスにおける公正性を確保しながら、パフォーマンスを維持するモデルを圧縮するように設計されている。
  論文  参考訳（メタデータ） (2023-12-15T20:08:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Towards Optimal Compression: Joint Pruning and Quantization [1.191194620421783]
  本稿では,FITCompressについて紹介する。FITCompressは層単位での混合精度の量子化と非構造化プルーニングを組み合わせた新しい手法である。 コンピュータビジョンと自然言語処理ベンチマークの実験により,提案手法が優れた圧縮性能のトレードオフを実現することを示す。
  論文  参考訳（メタデータ） (2023-02-15T12:02:30Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Neural Network Compression Via Sparse Optimization [23.184290795230897]
  スパース最適化の最近の進歩に基づくモデル圧縮フレームワークを提案する。 我々は、CIFAR10のVGG16とImageNetのResNet50で、同じレベルの精度で、最大7.2倍と2.9倍のFLOPを削減できる。
  論文  参考訳（メタデータ） (2020-11-10T03:03:55Z)
• Structured Sparsification with Joint Optimization of Group Convolution and Channel Shuffle [117.95823660228537]
  本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。 提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。 また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
  論文  参考訳（メタデータ） (2020-02-19T12:03:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。