論文の概要: Residual Speech Embeddings for Tone Classification: Removing Linguistic Content to Enhance Paralinguistic Analysis

• arxiv url: http://arxiv.org/abs/2502.19387v1
• Date: Wed, 26 Feb 2025 18:32:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:08.259001
• Title: Residual Speech Embeddings for Tone Classification: Removing Linguistic Content to Enhance Paralinguistic Analysis
• Title（参考訳）: トーン分類のための残留音声埋め込み:言語内容の除去とパラ言語分析
• Authors: Hamdan Al Ahbabi, Gautier Marti, Saeed AlMarri, Ibrahim Elfadel,
• Abstract要約: 本稿では,言語コンテンツからパラ言語的特徴を引き離す手法を提案する。 本手法を複数の自己教師型音声埋め込みに適用して評価し,残差埋め込みがトーン分類性能を著しく向上させることを示した。 これらの知見は、感情分析、話者特性解析、パラ言語音声処理における残留埋め込みの可能性を明らかにするものである。
• 参考スコア（独自算出の注目度）: 2.0499240875882
• License:
• Abstract: Self-supervised learning models for speech processing, such as wav2vec2, HuBERT, WavLM, and Whisper, generate embeddings that capture both linguistic and paralinguistic information, making it challenging to analyze tone independently of spoken content. In this work, we introduce a method for disentangling paralinguistic features from linguistic content by regressing speech embeddings onto their corresponding text embeddings and using the residuals as a representation of vocal tone. We evaluate this approach across multiple self-supervised speech embeddings, demonstrating that residual embeddings significantly improve tone classification performance compared to raw speech embeddings. Our results show that this method enhances linear separability, enabling improved classification even with simple models such as logistic regression. Visualization of the residual embeddings further confirms the successful removal of linguistic information while preserving tone-related features. These findings highlight the potential of residual embeddings for applications in sentiment analysis, speaker characterization, and paralinguistic speech processing.
• Abstract（参考訳）: wav2vec2, HuBERT, WavLM, Whisperなどの音声処理のための自己教師付き学習モデルは、言語情報とパラ言語情報の両方をキャプチャする埋め込みを生成する。 本研究では,言語内容からパラ言語的特徴を引き離す手法として,音声埋め込みを対応するテキスト埋め込みに回帰させ,残余を声調の表現として利用する手法を提案する。 複数の自己教師型音声埋め込みにまたがってこのアプローチを評価し,残音分類性能を生音声埋め込みと比較して有意に向上させることを示した。 本手法は線形分離性を向上し,ロジスティック回帰のような単純なモデルであっても分類精度が向上することを示した。 残像の可視化により, 音色関連の特徴を保ちながら, 言語情報の除去に成功したことが確認された。 これらの知見は、感情分析、話者特性解析、パラ言語音声処理における残留埋め込みの可能性を明らかにするものである。

関連論文リスト

• Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue [71.15186328127409]
  パラリンGPT(Paralin GPT) モデルは、シリアライズされたマルチタスクフレームワーク内の入力プロンプトとして、テキスト、音声埋め込み、およびパラ言語属性の会話コンテキストを取る。 音声対話データセットとして,感情ラベルをパラ言語属性として含むSwitchboard-1コーパスを利用する。
  論文  参考訳（メタデータ） (2023-12-23T18:14:56Z)
• Learning Disentangled Speech Representations [0.412484724941528]
  SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。 本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。 SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
  論文  参考訳（メタデータ） (2023-11-04T04:54:17Z)
• Acoustic and linguistic representations for speech continuous emotion recognition in call center conversations [2.0653090022137697]
  本稿では,AlloSat corpus へのトランスファー学習の一形態として,事前学習した音声表現の利用について検討する。 実験により,事前学習した特徴を用いて得られた性能の大きな向上を確認した。 驚いたことに、言語内容が満足度予測の主要な要因であることは明らかでした。
  論文  参考訳（メタデータ） (2023-10-06T10:22:51Z)
• Self-supervised Fine-tuning for Improved Content Representations by Speaker-invariant Clustering [78.2927924732142]
  話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。 Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
  論文  参考訳（メタデータ） (2023-05-18T15:59:36Z)
• SPADE: Self-supervised Pretraining for Acoustic DisEntanglement [2.294014185517203]
  室内音響を音声から切り離す自己教師型手法を提案する。 提案手法は,ラベル付きトレーニングデータが少ない場合に,ベースライン上での性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2023-02-03T01:36:38Z)
• Towards Disentangled Speech Representations [65.7834494783044]
  本研究では, ASR と TTS の合同モデリングに基づく表現学習タスクを構築する。 本研究は,その部分の音声信号と,その部分の音声信号とをアンタングルする音声表現を学習することを目的とする。 我々は,これらの特性をトレーニング中に強化することにより,WERを平均24.5%向上させることを示す。
  論文  参考訳（メタデータ） (2022-08-28T10:03:55Z)
• Probing Speech Emotion Recognition Transformers for Linguistic Knowledge [7.81884995637243]
  音声認識の微調整における言語情報の利用状況について検討する。 テキストの感情を変化させながら、韻律的に中性な発話を合成する。 変圧器モデルの妥当性予測は、否定だけでなく、肯定的および否定的な感情内容に対して非常に反応するが、増強剤や還元剤には反応しない。
  論文  参考訳（メタデータ） (2022-04-01T12:47:45Z)
• Wav-BERT: Cooperative Acoustic and Linguistic Representation Learning for Low-Resource Speech Recognition [159.9312272042253]
  Wav-BERTは、協調的な音響および言語表現学習法である。 我々は、事前訓練された音響モデル(wav2vec 2.0)と言語モデル(BERT)をエンドツーエンドのトレーニング可能なフレームワークに統合する。
  論文  参考訳（メタデータ） (2021-09-19T16:39:22Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Leveraging Pre-trained Language Model for Speech Sentiment Analysis [58.78839114092951]
  本研究では、事前学習された言語モデルを用いて、文章の感情情報を学習し、音声の感情分析を行う。 本稿では,言語モデルを用いた擬似ラベルに基づく半教師付き訓練戦略を提案する。
  論文  参考訳（メタデータ） (2021-06-11T20:15:21Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。