論文の概要: Fast Speech Foundation Model Distillation Using Interleaved Stacking

• arxiv url: http://arxiv.org/abs/2606.11766v2
• Date: Tue, 16 Jun 2026 04:29:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 15:01:46.532717
• Title: Fast Speech Foundation Model Distillation Using Interleaved Stacking
• Title（参考訳）: Interleaved Stacking を用いた高速音声基礎モデル蒸留
• Authors: Eungbeom Kim, Kyogu Lee,
• Abstract要約: モデル展開を高速化するSFM蒸留の訓練加速について検討する。 本稿では,階層化プロセスを通して,階層位置を一貫して保持する新しい積み重ね手法であるインターリーブド積み重ねを提案する。
• 参考スコア（独自算出の注目度）: 33.522931885314556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distilling a large speech foundation model (SFM) into an efficient student model has been successfully applied to low-resource environments. Although distillation reduces inference latency, it requires an additional student model training. However, the training efficiency of SFM distillation remains underexplored. In this work, we explore training acceleration of SFM distillation to speed up model deployment. We examine the potential of stacking, in which the model depth is progressively increased through training until the target model depth is reached. While existing stacking methods improve training speed, they suffer from performance degradation. To handle this limitation, we propose interleaved stacking, a novel stacking method that consistently preserves layer position throughout the stacking process. This property is particularly critical in SFMs, in which each layer encodes distinct layer-specific knowledge. We validate the effectiveness of the proposed method on SUPERB.
• Abstract（参考訳）: 大規模音声基礎モデル(SFM)を効率的な学生モデルに拡張し,低リソース環境に適用した。 蒸留は推論遅延を減少させるが、追加の学生モデルトレーニングが必要である。 しかし, SFM蒸留の訓練効率は未定である。 本研究では, モデル展開の高速化を目的としたSFM蒸留の訓練加速について検討する。 モデル深度が目標モデル深度に達するまで,トレーニングによってモデル深度が漸進的に増大するスタッキングの可能性を検討する。 既存のスタック手法はトレーニング速度を向上するが、パフォーマンスの劣化に悩まされる。 この制限に対処するため、我々は、階層化プロセス全体を通して層位置を一貫して保持する新しい積み重ね手法であるインターリーブド・スタッキング(Interleaved stacking)を提案する。 この性質は、各層が異なる層固有の知識を符号化するSFMにおいて特に重要である。 提案手法の有効性を SUPERB 上で検証する。

関連論文リスト

• PUMA: Layer-Pruned Language Model for Efficient Unified Multimodal Retrieval with Modality-Adaptive Learning [54.73049408950049]
  モーダリティ適応型学習を伴う効率的な統一マルチモーダル検索のための階層型言語モデルを提案する。 本手法は,構造的,学習的両面からの統合的マルチモーダル検索を改善する。
  論文  参考訳（メタデータ） (2025-07-10T16:47:25Z)
• Topology-Guided Knowledge Distillation for Efficient Point Cloud Processing [3.3903891679981593]
  本研究は,高能力教師から軽量学生モデルへ知識を伝達する新しい蒸留フレームワークを導入する。 提案手法は,学生モデルの学習過程を選択的に導きながら,点雲の基底となる幾何学的構造を捉える。 本手法は,LiDARデータのみに基づいて訓練された知識蒸留技術における最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-12T22:15:54Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Avoiding mode collapse in diffusion models fine-tuned with reinforcement learning [0.0]
  強化学習(RL)による微調整基礎モデルは、下流の目標に整合する上で有望であることが証明されている。 拡散モデル (DM) の階層的性質を生かし, 各エポックでRL法で動的に訓練する。 HRFで訓練したモデルは、下流タスクにおける多様性の保存性を向上し、微調整の堅牢性を高め、平均報酬を損なうことなく達成できることが示される。
  論文  参考訳（メタデータ） (2024-10-10T19:06:23Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• BOOT: Data-free Distillation of Denoising Diffusion Models with Bootstrapping [64.54271680071373]
  拡散モデルは多様な画像を生成する優れた可能性を示している。 知識蒸留は、推論ステップの数を1つか数に減らすための治療法として最近提案されている。 本稿では,効率的なデータフリー蒸留アルゴリズムにより限界を克服するBOOTと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T20:30:55Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• Self-Feature Regularization: Self-Feature Distillation Without Teacher Models [0.0]
  浅層層における機能学習を監督するために深層の特徴を用いるセルフフィーチャー正規化(sfr)を提案する。 まず,局所的な特徴にマッチする一般化l2損失と,チャネル次元においてより集中的に蒸留する多対一の手法を用いる。
  論文  参考訳（メタデータ） (2021-03-12T15:29:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。