論文の概要: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation

• arxiv url: http://arxiv.org/abs/2609.11412v1
• Date: Thu, 10 Sep 2026 11:43:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.317926
• Title: X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
• Title（参考訳）: X-AuT:クロススケール蒸留による音声LLMのプログレッシブオーディオエンコーダ圧縮
• Abstract要約: X-AuTは、短い振る舞いプローブを通して層の組み合わせを選択するプログレッシブフレームワークである。 表現アライメント、クロススケール蒸留、スケジュールされた学生政治監督、LoRAファインタニングを通じて、プルーニングモデルを復元する。 18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。
• 参考スコア（独自算出の注目度）: 34.99298958122614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reducing audio-encoder depth lowers the inference cost of speech large language models, but removing complete blocks perturbs the embeddings consumed by the decoder and can cause deletion and premature end-of-sequence errors. We introduce X-AuT, a progressive framework that selects layer combinations through short behavioral probes and restores the pruned model through representation alignment, cross-scale distillation, scheduled student-policy supervision, and LoRA finetuning. The language-model backbone remains frozen, while attention LoRA adapters and the tied output embedding adapt during distillation. Training uses the highest-agreement tier from a transcript-consistency pipeline, followed by source reweighting during finetuning. On ten public Chinese--English benchmarks, compressing Qwen3-ASR-0.6B from 18 to 16 audio-encoder layers reduces macro-average error from 5.61% to 5.27%. The 14-layer model reaches 5.75% with 20.7% fewer audio-tower parameters. Under the matched recipe, the 1.7B teacher yields 5.55% mean error, compared with 8.45% for self-distillation, and progressive 18$\rightarrow$14 pruning outperforms direct pruning (5.75% vs. 6.73%). These single-run results establish two practical operating points and show that the accuracy effects vary across benchmarks. Project website: https://xpeng-ai.github.io/x-aut
• Abstract（参考訳）: 音声エンコーダの深さの低減は、音声大言語モデルの推論コストを低下させるが、完全ブロックの除去はデコーダが消費する埋め込みを混乱させ、削除と早めのシーケンスエラーを引き起こす可能性がある。 本稿では,X-AuTについて紹介する。X-AuTは,短時間の行動プローブによる層結合を選択し,表現アライメント,クロススケール蒸留,スケジュールされた学生・政治監督,LoRAファインタニングを通じて,プラインドモデルを復元するプログレッシブフレームワークである。 言語モデルバックボーンは凍結状態のままであり、LoRAアダプタと結合した出力埋め込みは蒸留中に適応する。 トレーニングでは、トランスクリプト一貫性パイプラインから最も高いアグリメントレベルを使用し、次いで微調整時にソースの再重み付けを行う。 18から16のオーディオエンコーダ層からQwen3-ASR-0.6Bを圧縮した10の公開英語ベンチマークでは、マクロ平均誤差が5.61%から5.27%に減少する。 14層モデルは5.75%に達し、20.7%のオーディオ・トウワーパラメータが減少した。 マッチしたレシピでは、1.7Bの教師は平均誤差を5.55%、自己蒸留は8.45%、プログレッシブな18$\rightarrow$14のプルーニングは直接プルーニング(5.75%対6.73%)を上回っている。 これらの単一実行結果は2つの実用的な操作点を確立し、精度がベンチマークによって異なることを示す。 プロジェクトウェブサイト:https://xpeng-ai.github.io/x-aut

関連論文リスト

• Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper [4.214795904343116]
  コンボリューションステムまたはエンコーダ変換器の後,すべてのk番目のトークンを保持する決定論的インデックス化演算であるstride-kサブサンプリングを提案する。 ストライド2を両方の位置に適用することで、オーディオトークンを75%削減し、総GFLOPを52-58%削減する。 同じ構成は3つのWhisperベースのSpeechLMに拡張され、より強いベースラインに、より弱いベースラインに、より大きなドロップに、そしてエンドツーエンドのレイテンシを19.6-27.4%削減する。
  論文  参考訳（メタデータ） (2026-08-31T15:04:29Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Voice Memory for Agentic Speech Recognition [66.69623133635868]
  エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。 同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。 10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
  論文  参考訳（メタデータ） (2026-07-29T02:42:56Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• Pushing the Limits of On-Device Streaming ASR: A Compact, High-Accuracy English Model for Low-Latency Inference [5.685908474026849]
  エッジデバイス上での高品質な自動音声認識(ASR)は、GPUアクセラレーションなしでCPUで完全に動作している間に、精度、レイテンシ、メモリフットプリントを共同で最適化するモデルを必要とする。 我々は,エンコーダデコーダ,トランスデューサ,LDMベースのパラダイムを包含し,バッチ,チャンク,ストリーミング推論モードで評価する,最先端のASRアーキテクチャの体系的研究を行った。 推奨構成であるint4 k-quant変種は、8つの標準ベンチマークで平均8.20%のストリーミングWERを実現し、0.56秒のアルゴリズムレイテンシでCPU上でのリアルタイムよりも快適に動作します。
  論文  参考訳（メタデータ） (2026-04-16T00:04:32Z)
• Low-Rank Adaptation Reduces Catastrophic Forgetting in Sequential Transformer Encoder Fine-Tuning: Controlled Empirical Evidence and Frozen-Backbone Representation Probes [3.305265383862785]
  コンパニオン表現プローブを用いたシーケンシャルトランスフォーマーエンコーダにおけるローランド適応(LoRA)の実証的研究について述べる。 RTE->MRPC->CoLA->SST-2配列上の5つのフルバリデーションBERTベースでは、フル微調整の収率は19.9%+/-で、標準のLoRA(r、クエリ/バリューモジュール)は0.6%+/-1.4%である。
  論文  参考訳（メタデータ） (2026-03-29T14:14:36Z)
• dVoting: Fast Voting for dLLMs [71.572316901001]
  拡散大言語モデル(dLLMs)は自己回帰モデリングを超えた新しいパラダイムである。 dLLMは任意の位置で任意のトークンを並列に生成できるため、並列テストタイムスケーリングには大きな可能性がある。 トレーニングなしで推論能力を高める高速投票手法であるdVotingを導入する。
  論文  参考訳（メタデータ） (2026-02-12T16:35:05Z)
• Adding Connectionist Temporal Summarization into Conformer to Improve Its Decoder Efficiency For Speech Recognition [22.61761934996406]
  本稿では,アテンションデコーダに必要なフレーム数を削減できる新しいコネクショニスト時間要約法を提案する。 ビーム幅が4で、LibriSpeechの復号化予算は最大20%削減できる。 単語誤り率(WER)はビーム幅1で6%、ビーム幅4で3%減少する。
  論文  参考訳（メタデータ） (2022-04-08T07:24:00Z)
• Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection [15.525314212209562]
  チャンクベースインクリメンタル推論のための3つの遅延低減手法を提案する。 提案手法は低遅延音声翻訳にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-22T13:42:54Z)
• Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
  我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。 非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。 我々は,中国における公開データセットAISHELL-1の実験を行った。
  論文  参考訳（メタデータ） (2020-05-11T04:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。