論文の概要: Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization

• arxiv url: http://arxiv.org/abs/2502.12672v2
• Date: Sun, 25 May 2025 14:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.378886
• Title: Speech-FT: Merging Pre-trained And Fine-Tuned Speech Representation Models For Cross-Task Generalization
• Title（参考訳）: Speech-FT:クロスタスク一般化のための事前学習型および微調整型音声表現モデルの統合
• Authors: Tzu-Quan Lin, Wei-Ping Huang, Hao Tang, Hung-yi Lee,
• Abstract要約: 微調整された音声表現モデルは、特定のタスクのパフォーマンスを向上させることができるが、しばしばタスク間の一般化能力を損なう。 微調整中の重量変化の規則化のような既存のアプローチは、事前訓練されたモデルと十分に高い特徴的類似性を維持できない可能性がある。 本研究では,2段階のファインチューニングフレームワークであるSpeech-FTを提案する。
• 参考スコア（独自算出の注目度）: 51.56024241398741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning speech representation models can enhance performance on specific tasks but often compromises their cross-task generalization ability. This degradation is often caused by excessive changes in the representations, making it difficult to retain information learned during pre-training. Existing approaches, such as regularizing weight changes during fine-tuning, may fail to maintain sufficiently high feature similarity with the pre-trained model, and thus could possibly lose cross-task generalization. To address this issue, we propose Speech-FT, a novel two-stage fine-tuning framework designed to maintain cross-task generalization while benefiting from fine-tuning. Speech-FT first applies fine-tuning specifically designed to reduce representational drift, followed by weight-space interpolation with the pre-trained model to restore cross-task generalization. Extensive experiments on HuBERT, wav2vec 2.0, DeCoAR 2.0, and WavLM Base+ demonstrate that Speech-FT consistently improves performance across a wide range of supervised, unsupervised, and multitask fine-tuning scenarios. Moreover, Speech-FT achieves superior cross-task generalization compared to fine-tuning baselines that explicitly constrain weight changes, such as weight-space regularization and LoRA fine-tuning. Our analysis reveals that Speech-FT maintains higher feature similarity to the pre-trained model compared to alternative strategies, despite allowing larger weight-space updates. Notably, Speech-FT achieves significant improvements on the SUPERB benchmark. For example, when fine-tuning HuBERT on automatic speech recognition, Speech-FT is able to reduce phone error rate from 5.17% to 3.94%, lower word error rate from 6.38% to 5.75%, and increase speaker identification accuracy from 81.86% to 84.11%. Speech-FT provides a simple yet powerful solution for further refining speech representation models after pre-training.
• Abstract（参考訳）: 微調整された音声表現モデルは、特定のタスクのパフォーマンスを向上させることができるが、しばしばタスク間の一般化能力を損なう。 この劣化は、しばしば表現の過度な変化によって引き起こされるため、事前訓練中に学習した情報の保持が困難になる。 微調整中の重量変化の正則化のような既存のアプローチは、事前訓練されたモデルと十分に高い特徴的類似性を維持することができず、そのため、クロスタスクの一般化を失う可能性がある。 この問題に対処するため,我々は2段階のファインチューニングフレームワークであるSpeech-FTを提案する。 音声-FTはまず、表現のドリフトを減らすために特別に微調整を施し、その後、事前訓練されたモデルとの重み空間補間を行い、クロスタスクの一般化を復元する。 HuBERT、wav2vec 2.0、DeCoAR 2.0、WavLM Base+の広範な実験により、Speech-FTは広範囲にわたる教師なし、教師なし、マルチタスクの微調整シナリオのパフォーマンスを一貫して改善することを示した。 さらに、Speech-FTは、重み空間正規化やLoRAファインチューニングのような重み変化を明示的に制限する微調整ベースラインよりも優れたクロスタスク一般化を実現する。 我々の分析によると、Speech-FTは、より大きな重量空間更新が可能でありながら、他の戦略に比べて、事前訓練されたモデルと高い特徴的類似性を維持している。 特に、Speech-FTはSUPERBベンチマークで大幅に改善されている。 例えば、自動音声認識でHuBERTを微調整すると、Speech-FTは電話誤り率を5.17%から3.94%に下げ、単語誤り率を6.38%から5.75%に下げ、話者識別精度を81.86%から84.11%に向上させることができる。 Speech-FTは、事前訓練後の音声表現モデルをさらに洗練するための、シンプルで強力なソリューションを提供する。

関連論文リスト

• EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions [152.41217651729738]
  GPT-4oは、多様な感情や声調を持つ声の会話を可能にするオムニモーダルモデルである。 本研究では,エンド・ツー・エンドの音声機能を備えた大規模言語モデルを実現するためのEMOVAを提案する。 EMOVAは、視覚言語と音声のベンチマークの両方で最先端のパフォーマンスを初めて達成した。
  論文  参考訳（メタデータ） (2024-09-26T16:44:02Z)
• Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models [3.1511847280063696]
  音声可能な基礎モデルは、適切なプロンプトを用いて自動音声認識以外のタスクを実行することができる。 音声プロンプト付き大規模言語モデルの開発により、さらに大きな制御オプションが生まれる可能性がある。 この柔軟性により、システムはモデル制御の敵攻撃の影響を受けやすいことが実証された。
  論文  参考訳（メタデータ） (2024-07-05T13:04:31Z)
• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• uSee: Unified Speech Enhancement and Editing with Conditional Diffusion Models [57.71199494492223]
  本稿では,条件付き拡散モデルを用いた統一音声強調編集(uSee)モデルを提案する。 実験の結果,提案したuSeeモデルは,他の生成的音声強調モデルと比較して,発声および発声の双方において優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-02T04:36:39Z)
• SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities [39.07096632751864]
  SpeechGPTは、固有のクロスモーダルな会話能力を持つ大きな言語モデルである。 我々は、モダリティ適応事前訓練、クロスモーダル命令微調整、チェーン・オブ・モダリティ命令微調整を含む3段階の訓練戦略を採用する。
  論文  参考訳（メタデータ） (2023-05-18T14:23:25Z)
• Towards Multi-Scale Style Control for Expressive Speech Synthesis [60.08928435252417]
  提案手法では,マルチスケール参照エンコーダを用いて,対象音声のグローバルな発話レベルと局所的な準音素レベルの特徴を抽出する。 訓練期間中、マルチスケールスタイルモデルは、エンドツーエンドで音声合成モデルと共同で訓練することができる。
  論文  参考訳（メタデータ） (2021-04-08T05:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。