Fugu-MT 論文翻訳(概要): Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper

論文の概要: Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper

arxiv url: http://arxiv.org/abs/2608.30927v1
Date: Mon, 31 Aug 2026 15:04:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.462106
Title: Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper
Title（参考訳）: Stride-k Subsampling:Whisper用トレインフリーオーディオトケリダクション
Abstract要約: コンボリューションステムまたはエンコーダ変換器の後,すべてのk番目のトークンを保持する決定論的インデックス化演算であるstride-kサブサンプリングを提案する。ストライド2を両方の位置に適用することで、オーディオトークンを75%削減し、総GFLOPを52-58%削減する。同じ構成は3つのWhisperベースのSpeechLMに拡張され、より強いベースラインに、より弱いベースラインに、より大きなドロップに、そしてエンドツーエンドのレイテンシを19.6-27.4%削減する。
参考スコア（独自算出の注目度）: 4.214795904343116
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Whisper exposes speech through a fixed 1500-token encoder interface, now a default representation for ASR decoders and Whisper-based speech language models (SpeechLMs), yet its redundancy remains largely unexamined. We propose stride-k subsampling, a deterministic indexing operation that retains every k-th token after the convolutional stem or encoder transformer. Across five Whisper scales, k=2 preserves baseline WER at both positions, with CKA attributing this stability to acoustic overlap at the stem and attention-induced redistribution at the encoder output. Applying stride-2 at both positions cuts audio tokens by 75% and total GFLOPs by 52-58%, with small WER costs on most ASR benchmarks and larger costs on harder ones. The same configuration extends to three Whisper-based SpeechLMs, yielding modest accuracy drops on stronger baselines and larger drops on weaker ones, while reducing end-to-end latency by 19.6-27.4%. Requiring no training or auxiliary computation, stride-k subsampling exploits Whisper's preprocessing redundancy, indicating that its audio-token interface carries more capacity than downstream tasks require.
Abstract（参考訳）: Whisperは1500トークンのエンコーダインタフェースを通じて音声を公開するが、現在ではASRデコーダとWhisperベースの音声言語モデル(SpeechLMs)のデフォルト表現となっている。コンボリューションステムまたはエンコーダ変換器の後,すべてのk番目のトークンを保持する決定論的インデックス化演算であるstride-kサブサンプリングを提案する。 5つのWhisperスケールで、k=2は両位置でベースラインWERを保ち、CKAはこの安定性をエンコーダ出力におけるアコースティックオーバーラップとアテンション誘起再分配に寄与する。ストライド2を両方の位置に適用することで、オーディオトークンを75%削減し、総GFLOPを52-58%削減する。同じ構成は3つのWhisperベースのSpeechLMに拡張され、より強いベースラインに、より弱いベースラインに、より大きなドロップに、そしてエンドツーエンドのレイテンシを19.6-27.4%削減する。トレーニングや補助的な計算を必要としないストライド-kサブサンプリングは、Whisperの事前処理の冗長性を悪用し、オーディオトキンインターフェースがダウンストリームタスクよりも多くのキャパシティを担っていることを示している。

関連論文リスト

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文参考訳（メタデータ） (2026-08-10T07:49:10Z)
TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文参考訳（メタデータ） (2026-06-07T07:15:34Z)
Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding [10.438946760176787]
本稿では,3つの音響的動機を持つ摂動から計算した負のロジットとクリーンオーディオロジットを対比する,トレーニング不要のコントラストデコーディングフレームワークであるWhisper-CDを提案する。我々はこれらの負をlog-sum-exp演算子を介して集約し、トークン・バイ・トークン・デコーディングのための統一された多負の目的を構築する。 Whisper-CDはWERを最大24.3pp削減し、ビームサーチよりも48%高速なトークン生成スループットを示す。
論文参考訳（メタデータ） (2026-03-06T12:04:12Z)
Scaling Speech Tokenizers with Diffusion Autoencoders [29.796651048641454]
Speech Diffusion Tokenizer (SiTok) は、教師付き学習により意味豊かな表現を学習し、拡散を伴う高忠実な音声再構成を可能にする拡散オートエンコーダである。私たちはSiTokを1.6Bパラメータに拡張し、200万時間のスピーチでトレーニングします。実験によると、SiTokは理解、再構築、生成タスクにおいて、非常に低いトークンレートで、毎秒200ビットのビットレートで、強力なベースラインを上回ります。
論文参考訳（メタデータ） (2026-02-06T10:57:41Z)
StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs [54.229363096087866]
音声トークン化器は、意味不明な音響摂動に対して頑健ではない。この不安定性は、脆い単一パス量子化アーキテクチャと遠い訓練信号の2つの欠陥に由来する。コンセンサス駆動機構による安定性を実現するトークンライザであるStableTokenを紹介する。
論文参考訳（メタデータ） (2025-09-26T11:32:51Z)
Whisfusion: Parallel ASR Decoding via a Diffusion Transformer [7.327454599174306]
Whisfusionは、トレーニング済みのWhisperエンコーダをテキスト拡散デコーダで融合するフレームワークである。パラメータ効率細調整(PEFT)によって訓練された軽量なクロスアテンションアダプタは、2つのモードをブリッジする。 LibriSpeech (960h)のみに微調整されたWhisfusionは、Whisper-tinyよりも低いWERを実現し、短いオーディオに匹敵するレイテンシを提供する。
論文参考訳（メタデータ） (2025-08-09T17:20:54Z)
LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation [13.817958247146175]
本稿では,ASRエンコーダの低ランク圧縮方式であるLiteASRを導入する。評価の結果,Whisperの大容量v3エンコーダサイズを50%以上圧縮し,Whisper媒体サイズと転写精度を比較検討した。
論文参考訳（メタデータ） (2025-02-27T22:52:21Z)
Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition [22.61761934996406]
本稿では,アテンションデコーダに必要なフレーム数を削減できる新しいコネクショニスト時間要約法を提案する。ビーム幅が4で、LibriSpeechの復号化予算は最大20%削減できる。単語誤り率(WER)はビーム幅1で6%、ビーム幅4で3%減少する。
論文参考訳（メタデータ） (2022-04-08T07:24:00Z)
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文参考訳（メタデータ） (2021-10-11T00:08:48Z)
Advanced Long-context End-to-end Speech Recognition Using Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文参考訳（メタデータ） (2021-04-19T16:18:00Z)
Adaptive Feature Selection for End-to-End Speech Translation [87.07211937607102]
我々は、エンコーダデコーダに基づくE2E音声翻訳(ST)のための適応的特徴選択(AFS)を提案する。まず、ASRエンコーダを事前訓練し、AFSを適用して各符号化音声特徴の重要性をSRに動的に推定する。我々は、L0DROPをAFSのバックボーンとみなし、時間次元と特徴次元の両方に関して、音声特徴をスパース化するように適応する。
論文参考訳（メタデータ） (2020-10-16T17:21:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。