論文の概要: Effective and Efficient One-pass Compression of Speech Foundation Models Using Sparsity-aware Self-pinching Gates
- arxiv url: http://arxiv.org/abs/2505.22608v1
- Date: Wed, 28 May 2025 17:24:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-29 17:35:50.762339
- Title: Effective and Efficient One-pass Compression of Speech Foundation Models Using Sparsity-aware Self-pinching Gates
- Title（参考訳）: 空間認識型セルフピンチゲートを用いた音声基礎モデルの有効かつ効率的なワンパス圧縮
- Authors: Haoning Xu, Zhaoqing Li, Youjun Chen, Huimeng Wang, Guinan Li, Mengzhe Geng, Chengxi Deng, Xunying Liu,
- Abstract要約: 本稿では,モデルプルーニングとパラメータ更新を一段階に統合した音声基礎モデル圧縮手法を提案する。
LibriSpeech-100hr corpus を用いた実験により,wav2vec2.0-base と HuBERT-large モデルのパラメータ数を 65% と 60% 削減できることが示唆された。
- 参考スコア（独自算出の注目度）: 20.16951333751427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a novel approach for speech foundation models compression that tightly integrates model pruning and parameter update into a single stage. Highly compact layer-level tied self-pinching gates each containing only a single learnable threshold are jointly trained with uncompressed models and used in fine-grained neuron level pruning. Experiments conducted on the LibriSpeech-100hr corpus suggest that our approach reduces the number of parameters of wav2vec2.0-base and HuBERT-large models by 65% and 60% respectively, while incurring no statistically significant word error rate (WER) increase on the test-clean dataset. Compared to previously published methods on the same task, our approach not only achieves the lowest WER of 7.05% on the test-clean dataset under a comparable model compression ratio of 4.26x, but also operates with at least 25% less model compression time.
- Abstract（参考訳）: 本稿では,モデルプルーニングとパラメータ更新を一段階に統合した音声基礎モデル圧縮手法を提案する。
単一の学習可能なしきい値のみを含む高コンパクトな層レベル連結自己ピンチゲートは、非圧縮モデルで共同で訓練され、きめ細かいニューロンレベルのプルーニングに用いられる。
LibriSpeech-100hrコーパスで行った実験から,テストクリーンデータセットにおいて統計的に有意な単語誤り率(WER)が増加することなく,wav2vec2.0-baseとHuBERT-largeモデルのパラメータ数を65%,60%削減できることが示唆された。
また, 提案手法は, モデル圧縮比4.26倍で, テストクリーンデータセット上でのWERの最低値7.05%を達成できるだけでなく, モデル圧縮時間を少なくとも25%削減できる。
関連論文リスト
- Forget the Data and Fine-Tuning! Just Fold the Network to Compress [13.611551223875194]
構造的に類似したニューロンを層にマージする新しいデータフリーモデル圧縮技術であるモデルフォールディングを導入する。
モデル折り畳みはデータ駆動圧縮技術に匹敵する性能を示し,最近提案したデータフリー手法よりも優れていた。
このアプローチは大規模モデルを圧縮するのに特に有効であり、資源制約された環境への展開に適している。
論文 参考訳（メタデータ） (2025-02-14T15:10:43Z) - Choose Your Model Size: Any Compression by a Single Gradient Descent [9.074689052563878]
イテレーティブ・プルーニング(ACIP)による圧縮について紹介する。
ACIPは、単一の勾配降下ランから圧縮性能トレードオフを決定するアルゴリズム的なアプローチである。
本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
論文 参考訳（メタデータ） (2025-02-03T18:40:58Z) - You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning [20.62274005080048]
PruneNetは、ポリシー学習プロセスとしてモデルプルーニングを再構成する新しいモデル圧縮手法である。
LLaMA-2-7Bモデルはわずか15分で圧縮でき、ゼロショット性能の80%以上を維持できる。
複雑なマルチタスク言語理解タスクでは、PruneNetはオリジナルのモデルの80%のパフォーマンスを維持することで、その堅牢性を実証している。
論文 参考訳（メタデータ） (2025-01-25T18:26:39Z) - Activations and Gradients Compression for Model-Parallel Training [85.99744701008802]
モデル並列分散トレーニングセットアップにおけるアクティベーションと勾配の同時圧縮が収束に与える影響について検討する。
グラデーションはアクティベーションよりも軽度な圧縮速度を必要とする。
実験では、TopKでトレーニングされたモデルが、推論中に圧縮も適用された場合にのみ正常に動作することが示されている。
論文 参考訳（メタデータ） (2024-01-15T15:54:54Z) - Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。
元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
論文 参考訳（メタデータ） (2023-03-07T19:12:31Z) - CrAM: A Compression-Aware Minimizer [103.29159003723815]
本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。
CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。
CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
論文 参考訳（メタデータ） (2022-07-28T16:13:28Z) - (Certified!!) Adversarial Robustness for Free! [116.6052628829344]
逆方向の摂動が0.5の2ノルム以内であることに制約された場合,ImageNetでは71%の精度が証明された。
これらの結果は,モデルパラメータの微調整や再学習を必要とせず,事前学習した拡散モデルと画像分類器のみを用いて得られる。
論文 参考訳（メタデータ） (2022-06-21T17:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。