論文の概要: Learning Speech Attribute Representations via Multi-Teacher Distillation
- arxiv url: http://arxiv.org/abs/2610.21941v1
- Date: Thu, 15 Oct 2026 14:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.122192
- Title: Learning Speech Attribute Representations via Multi-Teacher Distillation
- Title（参考訳）: マルチ教師蒸留による音声属性表現の学習
- Abstract要約: 自己教師型音声エンコーダは、知識蒸留により単一の発話レベルの音声属性を学習するために適応することができる。
本研究では,4つの凍結教師モデルから意味,話者,言語,感情表現を学習する多属性多教師蒸留フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 11.899124832007042
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent post-training approaches have shown that self-supervised speech encoders can be adapted to learn a single utterance-level speech attribute through knowledge distillation. In this work, we investigate whether a single speech encoder can simultaneously preserve multiple complementary utterance-level speech representations. We propose a multi-attribute multi-teacher distillation framework that learns semantic, speaker, language, and emotion representations from four frozen teacher models using a shared SSL backbone and attribute-specific branches. Experiments on multilingual semantic retrieval, speaker verification, language identification, and speech emotion recognition show that the proposed model achieves performance close to dedicated single-task students while requiring only a single shared encoder. Furthermore, the learned layer aggregation strategies reveal that different speech attributes naturally emerge at different depths of the SSL encoder, providing new insights into the organization of speech representations.
- Abstract（参考訳）: 近年, 自己教師型音声エンコーダは, 知識蒸留による単一発話レベル音声属性の学習に適応できることが示唆されている。
本研究では,1つの音声エンコーダが複数の相補的な発話レベルの音声表現を同時に保持できるかどうかを検討する。
本研究では,SSLバックボーンと属性固有分岐を用いた4つの凍結教師モデルから意味,話者,言語,感情表現を学習する多属性多教師蒸留フレームワークを提案する。
多言語セマンティック検索、話者検証、言語識別、音声感情認識の実験により、提案モデルは1つの共有エンコーダのみを必要としながら、専用のシングルタスク学生に近い性能が得られることを示した。
さらに、学習層集約戦略では、異なる音声属性がSSLエンコーダの異なる深さで自然に出現し、音声表現の組織化に関する新たな洞察を提供する。
関連論文リスト
- Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder [11.899124832007042]
自己教師付き学習で訓練された音声基礎モデルは、幅広い音声処理タスクをサポートする汎用的な音声表現を生成する。
最近のポストトレーニング手法は、音声表現を発話レベルの意味表現と整合させ、効果的なマルチモーダル(音声テキスト)と多言語アプリケーションを可能にする。
本稿では,複数種類の発話レベルの表現を単一音声基盤モデルで生成可能な統合後学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-09T12:34:57Z) - ProsodyLM: Uncovering the Emerging Prosody Processing Capabilities in Speech Language Models [70.56468982313834]
本稿では,韻律学習に適した単純なトークン化方式であるProsodyLMを提案する。
ProsodyLMは事前学習だけで驚くほど多様なプロソディ処理能力を学習できることがわかった。
論文 参考訳（メタデータ） (2025-07-27T00:59:01Z) - Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。
We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。
提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
論文 参考訳（メタデータ） (2024-09-13T07:28:28Z) - Unified model for code-switching speech recognition and language
identification based on a concatenated tokenizer [17.700515986659063]
Code-Switching (CS) Multilingual Automatic Speech Recognition (ASR) モデルは会話中に2つ以上の交互言語を含む音声を転写することができる。
本稿では,純粋にモノリンガルなデータソースからASRデータセットをコードスイッチングする新しい手法を提案する。
新たな Concatenated Tokenizer により、ASR モデルは既存のモノリンガルトークンを再利用しながら、出力されたテキストトークンごとに言語IDを生成することができる。
論文 参考訳（メタデータ） (2023-06-14T21:24:11Z) - Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。
音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。
本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
論文 参考訳（メタデータ） (2022-05-21T16:52:57Z) - An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。
具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。
提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
論文 参考訳（メタデータ） (2021-06-05T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。