論文の概要: Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation

• arxiv url: http://arxiv.org/abs/2305.11685v1
• Date: Fri, 19 May 2023 14:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 14:21:05.734433
• Title: Recycle-and-Distill: Universal Compression Strategy for Transformer-based Speech SSL Models with Attention Map Reusing and Masking Distillation
• Title（参考訳）: 注意マップ再使用とマスキング蒸留を用いた変圧器型音声sslモデルのユニバーサル圧縮戦略
• Authors: Kangwook Jang, Sungnyun Kim, Se-Young Yun, Hoirin Kim
• Abstract要約: HuBERTのようなトランスフォーマーベースの音声自己教師学習(SSL)モデルは、様々な音声処理タスクにおいて驚くべきパフォーマンスを示す。 音声SSLモデルの膨大なパラメータは、アカデミックや小規模企業で広く使用されるために、よりコンパクトなモデルに圧縮する必要がある。
• 参考スコア（独自算出の注目度）: 16.20912189916697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based speech self-supervised learning (SSL) models, such as HuBERT, show surprising performance in various speech processing tasks. However, huge number of parameters in speech SSL models necessitate the compression to a more compact model for wider usage in academia or small companies. In this study, we suggest to reuse attention maps across the Transformer layers, so as to remove key and query parameters while retaining the number of layers. Furthermore, we propose a novel masking distillation strategy to improve the student model's speech representation quality. We extend the distillation loss to utilize both masked and unmasked speech frames to fully leverage the teacher model's high-quality representation. Our universal compression strategy yields the student model that achieves phoneme error rate (PER) of 7.72% and word error rate (WER) of 9.96% on the SUPERB benchmark.
• Abstract（参考訳）: HuBERTのようなトランスフォーマーベースの音声自己教師学習(SSL)モデルは、様々な音声処理タスクにおいて驚くべきパフォーマンスを示す。 しかし、音声sslモデルの多くのパラメーターは、アカデミアや小企業で広く使われるために、よりコンパクトなモデルに圧縮する必要がある。 本研究では,トランスフォーマー層にまたがるアテンションマップを再利用し,レイヤ数を維持しながらキーおよびクエリパラメータを削除することを提案する。 さらに, 学生モデルの音声表現品質を向上させるための新しいマスキング蒸留戦略を提案する。 我々は,教師モデルの高品質表現を完全に活用するために,マスクフレームとアンマスクフレームの両方を利用する蒸留損失を拡張した。 私たちのユニバーサル圧縮戦略は,音素誤り率(per)7.72%,単語誤り率(wer)9.96%をsuperbベンチマークで達成した学生モデルを生成する。

関連論文リスト

• Joint Semantic Knowledge Distillation and Masked Acoustic Modeling for Full-band Speech Restoration with Improved Intelligibility [15.463932957443973]
  音声の復元は、様々な歪みのセットを考慮して、高品質で知性の高い全帯域音声を復元することを目的としている。 MaskSRは、最近提案されたこのタスクのための生成モデルである。 提案モデルであるMaskSR2は,同一のMaskSRモデルキャパシティと推定時間を用いて,単語の誤り率を大幅に低減することを示した。
  論文  参考訳（メタデータ） (2024-09-14T08:09:55Z)
• MaskSR: Masked Language Model for Full-band Speech Restoration [7.015213589171985]
  音声の復元は,様々な歪みが存在する場合に高品質な音声を復元することを目的としている。 雑音,リバーブ,クリップング,低帯域を考慮したフルバンド44.1kHz音声の復元が可能なマスク付き言語モデルであるMaskSRを提案する。
  論文  参考訳（メタデータ） (2024-06-04T08:23:57Z)
• STaR: Distilling Speech Temporal Relation for Lightweight Speech Self-Supervised Learning Models [10.07318014676215]
  音声時間関係(STaR)を蒸留して音声SSLモデルを圧縮することを提案する。 HuBERT BASE から抽出したモデルは SUPERB ベンチマークで 79.8 の総合スコアを達成し,最大2700万のパラメータを持つモデルの中で最高の性能を示した。
  論文  参考訳（メタデータ） (2023-12-14T15:37:37Z)
• Miipher: A Robust Speech Restoration Model Integrating Self-Supervised Speech and Text Representations [51.89856133895233]
  音声復元(SR)は、劣化した音声信号を高品質なものに変換するタスクである。 本研究では、Miipherと呼ばれるロバストなSRモデルを提案し、新しいSRアプリケーションにMiipherを適用する。 SRモデルを様々な劣化に対して堅牢にするために、入力特徴としてw2v-BERTから抽出した音声表現と、PnG-BERTを介して書き起こしから抽出したテキスト表現を言語条件付けとして使用する。
  論文  参考訳（メタデータ） (2023-03-03T01:57:16Z)
• Structured Pruning of Self-Supervised Pre-trained Models for Speech Recognition and Understanding [43.68557263195205]
  自己教師付き音声表現学習(SSL)は、様々な下流タスクで有効であることが示されているが、SSLモデルは通常、大きくて遅い。 このような異種ネットワークを扱うための3つのタスク固有の構造化プルーニング手法を提案する。 LibriSpeech と SLURP の実験により,提案手法は従来の wav2vecbase よりも10% から30% の精度で精度が高く,劣化を伴わずに 40% から 50% の削減が可能であった。
  論文  参考訳（メタデータ） (2023-02-27T20:39:54Z)
• Ultra Fast Speech Separation Model with Teacher Student Learning [44.71171732510265]
  教師の学習(T-S学習)による性能向上と効率向上を目的とした超高速トランスフォーマーモデルの提案 T-S学習法は,スクラッチから学習した小さなトランスフォーマーモデルと比較して,複数チャネルと単一チャネルの音声分離において,単語誤り率(WER)を5%以上削減する。
  論文  参考訳（メタデータ） (2022-04-27T09:02:45Z)
• LightHuBERT: Lightweight and Configurable Speech Representation Learning with Once-for-All Hidden-Unit BERT [69.77358429702873]
  本稿では,一度限りのTransformer圧縮フレームワークであるLightHuBERTを提案する。 自動音声認識(ASR)とSUPERBベンチマークの実験は、提案されたLightHuBERTが109ドル以上のアーキテクチャを実現することを示している。 LightHuBERTは、ほとんどのタスクにおいて、29%のパラメータを削減して、教師モデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-29T14:20:55Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• Sparse Distillation: Speeding Up Text Classification by Using Bigger Models [49.8019791766848]
  最先端の変圧器モデルを軽量の学生モデルに拡張することは、推論時の計算コストを削減する効果的な方法である。 本稿では,学生モデルの設計空間における新しい領域を探索することにより,推論速度の限界をさらに推し進めることを目的とする。 実験の結果,RoBERTa-Large教師の授業成績の97%を6つのテキスト分類タスクのコレクションに保持していることがわかった。
  論文  参考訳（メタデータ） (2021-10-16T10:04:14Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。