論文の概要: Speech-FT: A Fine-tuning Strategy for Enhancing Speech Representation Models Without Compromising Generalization Ability

• arxiv url: http://arxiv.org/abs/2502.12672v1
• Date: Tue, 18 Feb 2025 09:23:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:43.173312
• Title: Speech-FT: A Fine-tuning Strategy for Enhancing Speech Representation Models Without Compromising Generalization Ability
• Title（参考訳）: 音声FT:一般化能力を損なうことなく音声表現モデルを構築するための微調整戦略
• Authors: Tzu-Quan Lin, Wei-Ping Huang, Hao Tang, Hung-yi Lee,
• Abstract要約: 音声-FTは、モデルマージを利用した音声表現モデルの戦略であり、微調整の恩恵を受けながら、一般化能力を維持する。 音声-FTは様々な微調整シナリオで有効であり、様々な種類の音声表現モデルと互換性がある。
• 参考スコア（独自算出の注目度）: 51.56024241398741
• License:
• Abstract: Speech representation models are highly effective at extracting general features for various tasks. While fine-tuning can enhance these representations for specific applications, it often compromises their generalization ability. To address this challenge, we propose Speech-FT, a fine-tuning strategy for speech representation models that leverages model merging to preserve generalization ability while still benefiting from fine-tuning. Speech-FT is effective across different fine-tuning scenarios and is compatible with various types of speech representation models, providing a versatile solution. Speech-FT offers an efficient and practical approach to further improving general speech representations after pre-training.
• Abstract（参考訳）: 音声表現モデルは様々なタスクの一般的な特徴を抽出するのに非常に効果的である。 微調整は特定のアプリケーションに対するこれらの表現を強化することができるが、しばしば一般化能力を損なう。 この課題に対処するために,モデルマージを利用した音声表現モデルの微調整戦略であるSpeech-FTを提案する。 音声-FTは様々な微調整シナリオで有効であり、様々な種類の音声表現モデルと互換性があり、汎用的なソリューションを提供する。 音声-FTは、事前学習後の一般的な音声表現をさらに改善するための効率的で実践的なアプローチを提供する。

関連論文リスト

• EMOVA: Empowering Language Models to See, Hear and Speak with Vivid Emotions [152.41217651729738]
  GPT-4oは、多様な感情や声調を持つ声の会話を可能にするオムニモーダルモデルである。 本研究では,エンド・ツー・エンドの音声機能を備えた大規模言語モデルを実現するためのEMOVAを提案する。 EMOVAは、視覚言語と音声のベンチマークの両方で最先端のパフォーマンスを初めて達成した。
  論文  参考訳（メタデータ） (2024-09-26T16:44:02Z)
• Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models [3.1511847280063696]
  音声可能な基礎モデルは、適切なプロンプトを用いて自動音声認識以外のタスクを実行することができる。 音声プロンプト付き大規模言語モデルの開発により、さらに大きな制御オプションが生まれる可能性がある。 この柔軟性により、システムはモデル制御の敵攻撃の影響を受けやすいことが実証された。
  論文  参考訳（メタデータ） (2024-07-05T13:04:31Z)
• DeSTA: Enhancing Speech Language Models through Descriptive Speech-Text Alignment [82.86363991170546]
  本稿では、音声キャプションを利用して音声とテキストのモダリティのギャップを埋める記述型音声テキストアライメント手法を提案する。 我々のモデルはDynamic-SUPERBベンチマークで優れた性能を示し、特に目に見えないタスクに一般化する。 これらの知見は、説明豊かな音声キャプションを組み込むことにより、指示追従型SLMを再構築する可能性を強調した。
  論文  参考訳（メタデータ） (2024-06-27T03:52:35Z)
• SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation [56.913182262166316]
  CoIG(Chain-of-Information Generation)は、大規模音声生成において意味情報と知覚情報を分離する手法である。 SpeechGPT-Genはセマンティックおよび知覚情報モデリングにおいて効率的である。 ゼロショット音声変換、ゼロショット音声変換、音声音声対話に優れる。
  論文  参考訳（メタデータ） (2024-01-24T15:25:01Z)
• uSee: Unified Speech Enhancement and Editing with Conditional Diffusion Models [57.71199494492223]
  本稿では,条件付き拡散モデルを用いた統一音声強調編集(uSee)モデルを提案する。 実験の結果,提案したuSeeモデルは,他の生成的音声強調モデルと比較して,発声および発声の双方において優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-10-02T04:36:39Z)
• SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities [39.07096632751864]
  SpeechGPTは、固有のクロスモーダルな会話能力を持つ大きな言語モデルである。 我々は、モダリティ適応事前訓練、クロスモーダル命令微調整、チェーン・オブ・モダリティ命令微調整を含む3段階の訓練戦略を採用する。
  論文  参考訳（メタデータ） (2023-05-18T14:23:25Z)
• Towards Multi-Scale Style Control for Expressive Speech Synthesis [60.08928435252417]
  提案手法では,マルチスケール参照エンコーダを用いて,対象音声のグローバルな発話レベルと局所的な準音素レベルの特徴を抽出する。 訓練期間中、マルチスケールスタイルモデルは、エンドツーエンドで音声合成モデルと共同で訓練することができる。
  論文  参考訳（メタデータ） (2021-04-08T05:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。