論文の概要: Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery

• arxiv url: http://arxiv.org/abs/2609.27980v1
• Date: Wed, 23 Sep 2026 12:05:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.009752
• Title: Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery
• Title（参考訳）: 6層以下:ララベルフリーリカバリによるウィスパー用エンコーダプルーニング
• Abstract要約: 本稿では,単語誤り率(WER)の残層変化によってエンコーダ層をランク付けする手法を提案する。 最も変更の少ない6つのレイヤは、エンコーダスタックの18.5%に相当する。 ゼロショット層プルーニングによる性能劣化を回復するために,ラベル付き単言語音声データを用いて蒸留を行った。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning large pre-trained transformer-based ASR models such as OpenAI's Whisper has seen great adoption, as pruning the decoder led to significant end-to-end transcription speedups. For instance, the {\tt whisper-large-v3-turbo} variant reduced the decoder from 32 to 4 layers, while Distill-Whisper similarly reduced the decoder to only 2 layers. Although some attention has been put towards reducing the size of the encoder, no approach has seen wide adoption. This could be due to the need for custom inference implementations to take advantage of the compressed model. We present an approach that ranks encoder layers by the leave-one-layer-out change in Word Error Rate (WER). The six layers that cause the least change are removed, corresponding to $18.5\%$ of the encoder stack. The pruned model requires no custom inference code as it is simply a more shallow encoder with fewer layers. We further distill using unlabeled monolingual speech data to recover performance degradation caused by the zero-shot layer pruning. Mean WER across four languages increases to $20.1\%$ after distillation, compared to $21.9\%$ zero-shot, going from a baseline of $18.2\%$. We release all of our code (https://github.com/rasgaard/whisper-encoder-layer-prune) and the pruned model (https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned).
• Abstract（参考訳）: OpenAIのWhisperのような大きなトレーニング済みのトランスフォーマーベースのASRモデルのプルーニングは、デコーダをプルーニングすることで、エンド・ツー・エンドの転写速度が大幅に向上した。 例えば、 {\tt whisper-large-v3-turbo} はデコーダを32層から4層に減らし、Distill-Whisper も同様にデコーダを2層に減らした。 エンコーダのサイズを減らすことにいくつかの注意が向けられているが、広く採用されているアプローチはない。 これは、圧縮されたモデルを活用するためにカスタム推論実装が必要であるためかもしれない。 本稿では,単語誤り率 (WER) の残層変化によってエンコーダ層をランク付けする手法を提案する。 最も変化の少ない6つの層は、エンコーダスタックの$18.5\%の値で取り除かれる。 プルーンドモデルは、レイヤが少ないより浅いエンコーダであるため、カスタムの推論コードを必要としない。 さらに、ラベルなし単言語音声データを用いて、ゼロショット層プルーニングによる性能劣化を回復する。 4つの言語にまたがる平均 WER は蒸留後 20.1 %$ に上昇し、ゼロショットは 21.9 %$ に上昇し、ベースラインは 18.2 %$ になる。 私たちはすべてのコード(https://github.com/rasgaard/whisper-encoder-layer-prune)とprunedモデル(https://huggingface.co/rasgaard/whisper-large-v3-turbo-encoder-pruned)をリリースします。

関連論文リスト

• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• Representing 3D Shapes With 64 Latent Vectors for 3D Diffusion Models [21.97308739556984]
  COD-VAEは3D形状を1D潜伏ベクトルからなるCampact集合に符号化する。 その結果,COD-VAEは品質を維持しつつ,ベースラインの16倍の圧縮を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-03-11T06:29:39Z)
• Better Prompt Compression Without Multi-Layer Perceptrons [33.53334153279698]
  本稿では,エンコーダが本来の言語モデルのアーキテクチャを維持して有用な圧縮を実現する必要はないことを示す。 言語モデルのトランスフォーマーブロックにおいて,多層パーセプトロン(MLP)層を除去した後に,プロンプト圧縮エンコーダを導入する。
  論文  参考訳（メタデータ） (2025-01-12T06:57:06Z)
• You Only Cache Once: Decoder-Decoder Architectures for Language Models [132.4064488592704]
  大規模言語モデルのためのデコーダ・デコーダアーキテクチャであるYOCOを導入する。 YOCOはキーと値のペアを一度だけキャッシュする。 全体的なモデルはデコーダのみのTransformerのように振る舞うが、YOCOは一度だけキャッシュする。
  論文  参考訳（メタデータ） (2024-05-08T17:57:39Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders [77.2101943305862]
  本稿では,複数の浅層デコーダ(DEMSD)を持つディープエンコーダを提案する。 2層デコーダを用いたDEMDモデルは、翻訳品質の低下のない標準トランスモデルと比較して平均1.8倍の高速化が得られる。
  論文  参考訳（メタデータ） (2022-06-05T01:15:04Z)
• On the Compressive Power of Boolean Threshold Autoencoders [11.47907490900914]
  オートエンコーダ(autoencoder)は、エンコーダとデコーダからなる構造とみなすことができる階層型ニューラルネットワークである。 任意の$n$異なるベクトルに対して、最小の中間層を持つ7層オートエンコーダが存在することを示す。
  論文  参考訳（メタデータ） (2020-04-21T03:21:43Z)
• Probing Word Translations in the Transformer and Trading Decoder for Encoder Layers [69.40942736249397]
  トランスフォーマー層における単語の翻訳方法はまだ研究されていない。 翻訳はすでにエンコーダ層や入力埋め込みでも徐々に行われています。 実験の結果,翻訳品質が低い2.3までの速度向上が可能であり,さらに18-4のディープエンコーダ構成では翻訳品質が1.42BLEU(En-De)の速度アップで+1.42BLEU(En-De)向上することがわかった。
  論文  参考訳（メタデータ） (2020-03-21T06:12:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。