論文の概要: SepPrune: Structured Pruning for Efficient Deep Speech Separation

• arxiv url: http://arxiv.org/abs/2505.12079v1
• Date: Sat, 17 May 2025 16:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.025662
• Title: SepPrune: Structured Pruning for Efficient Deep Speech Separation
• Title（参考訳）: SepPrune: 効率的な深層音声分離のための構造化プルーニング
• Authors: Yuqi Li, Kai Li, Xin Yin, Zhifei Yang, Junhao Dong, Zeyu Dong, Chuanguang Yang, Yingli Tian, Yao Lu,
• Abstract要約: 本稿では,深層音声分離モデルに特化して設計された最初の構造化プルーニングフレームワークであるSepPruneを提案する。 SepPruneは冗長なチャネルをプルーンし、残りのパラメータを微調整してパフォーマンスを回復する。 実験により、この学習可能なプルーニングパラダイムは、音声分離モデルにおいて、チャネルプルーニングにかなりの利点をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 30.462948338187708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although deep learning has substantially advanced speech separation in recent years, most existing studies continue to prioritize separation quality while overlooking computational efficiency, an essential factor for low-latency speech processing in real-time applications. In this paper, we propose SepPrune, the first structured pruning framework specifically designed to compress deep speech separation models and reduce their computational cost. SepPrune begins by analyzing the computational structure of a given model to identify layers with the highest computational burden. It then introduces a differentiable masking strategy to enable gradient-driven channel selection. Based on the learned masks, SepPrune prunes redundant channels and fine-tunes the remaining parameters to recover performance. Extensive experiments demonstrate that this learnable pruning paradigm yields substantial advantages for channel pruning in speech separation models, outperforming existing methods. Notably, a model pruned with SepPrune can recover 85% of the performance of a pre-trained model (trained over hundreds of epochs) with only one epoch of fine-tuning, and achieves convergence 36$\times$ faster than training from scratch. Code is available at https://github.com/itsnotacie/SepPrune.
• Abstract（参考訳）: 近年,ディープラーニングによる音声の分離が著しく進んでいるが,既存の研究の多くは,リアルタイムアプリケーションにおける低遅延音声処理に欠かせない要素である計算効率を乗り越えながら,分離品質の優先順位付けを続けている。 本稿では,深層音声分離モデルを圧縮し,計算コストを削減するために設計された最初の構造化プルーニングフレームワークであるSepPruneを提案する。 SepPruneは、与えられたモデルの計算構造を分析して、最も計算負担の高いレイヤを特定することから始まる。 次に、勾配駆動のチャネル選択を可能にする、微分可能なマスキング戦略を導入する。 学習したマスクに基づいて、SepPruneは冗長なチャネルをプルーンし、残りのパラメータを微調整してパフォーマンスを回復する。 広汎な実験により、この学習可能なプルーニングパラダイムは、既存の手法よりも優れた、音声分離モデルにおけるチャネルプルーニングのアドバンテージをもたらすことが実証された。 特に、SepPruneでプルーニングされたモデルでは、事前訓練されたモデル(何百ものエポックでトレーニングされた)のパフォーマンスの85%を1回の微調整で回復することができ、スクラッチからのトレーニングよりも36$\times$の収束を達成できる。 コードはhttps://github.com/itsnotacie/SepPrune.comで入手できる。

関連論文リスト

• DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
  現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。 学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。 創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
  論文  参考訳（メタデータ） (2024-04-01T20:44:28Z)
• An Efficient Rehearsal Scheme for Catastrophic Forgetting Mitigation during Multi-stage Fine-tuning [55.467047686093025]
  このような忘れを緩和するための一般的なアプローチは、微調整中に以前のタスクからサンプルをリハーサルすることである。 側方損傷のリハーサルを優先するサンプリング手法である textttbf mix-cd を提案する。 我々の手法は計算効率が高く、実装が容易で、計算制約のある設定においていくつかの主要な連続学習手法より優れています。
  論文  参考訳（メタデータ） (2024-02-12T22:32:12Z)
• Neural Network Pruning for Real-time Polyp Segmentation [8.08470060885395]
  ポリプセグメンテーションにおけるニューラルネットワークプルーニングの適用例を示す。 畳み込みフィルタの重要スコアを計算し、最小スコアを持つフィルタを除去する。
  論文  参考訳（メタデータ） (2023-06-22T21:03:50Z)
• Fantastic Weights and How to Find Them: Where to Prune in Dynamic Sparse Training [58.47622737624532]
  本研究では,プルーニング基準が動的スパーストレーニング(DST)性能に及ぼす影響について検討する。 その結果,研究手法のほとんどが同様の結果をもたらすことがわかった。 最高のパフォーマンスは、最も単純なテクニックであるマグニチュードベースのプルーニングによって主に与えられる。
  論文  参考訳（メタデータ） (2023-06-21T12:43:55Z)
• Structured Pruning for Multi-Task Deep Neural Networks [25.916166808223743]
  マルチタスクディープニューラルネットワーク(DNN)モデルは、個々のシングルタスクモデルよりも計算とストレージのメリットがある。 マルチタスクモデルにおける構造化プルーニングの有効性について検討する。
  論文  参考訳（メタデータ） (2023-04-13T22:15:47Z)
• Data-Efficient Structured Pruning via Submodular Optimization [32.574190896543705]
  部分モジュラ最適化に基づくデータ効率の高い構造化プルーニング手法を提案する。 この選択問題は弱い部分モジュラー問題であり、効率的なグリードアルゴリズムを用いて証明可能な近似が可能であることを示す。 本手法は,限られた数のトレーニングデータのみを使用し,ラベルを含まない文献の中では数少ない手法の一つである。
  論文  参考訳（メタデータ） (2022-03-09T18:40:29Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Towards Optimal Filter Pruning with Balanced Performance and Pruning Speed [17.115185960327665]
  本稿では,性能とプルーニング速度の両立のために,バランスの取れたフィルタプルーニング法を提案する。 提案手法は, 約層幅の最適プルーニング速度を予め設定した損失変動で再現できる。 提案手法は共通アーキテクチャに適用可能であり,最終微調整以外の追加訓練は行わない。
  論文  参考訳（メタデータ） (2020-10-14T06:17:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。