論文の概要: Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition

• arxiv url: http://arxiv.org/abs/2401.11017v1
• Date: Fri, 19 Jan 2024 20:31:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 18:32:11.379481
• Title: Revealing Emotional Clusters in Speaker Embeddings: A Contrastive Learning Strategy for Speech Emotion Recognition
• Title（参考訳）: 話者埋め込みにおける感情クラスタの展開--音声感情認識のためのコントラスト学習戦略
• Authors: Ismail Rasim Ulgen, Zongyang Du, Carlos Busso, Berrak Sisman
• Abstract要約: 感情情報は話者埋め込みに間接的に埋め込まれていると推定され、その未利用に繋がった。 本研究は,話者内クラスタの形で,感情と最先端の話者埋め込みの直接的かつ有用な関係を明らかにする。 音声の感情認識のための感情非ラベルデータに適用する新しいコントラスト事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 27.098672790099304
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speaker embeddings carry valuable emotion-related information, which makes them a promising resource for enhancing speech emotion recognition (SER), especially with limited labeled data. Traditionally, it has been assumed that emotion information is indirectly embedded within speaker embeddings, leading to their under-utilization. Our study reveals a direct and useful link between emotion and state-of-the-art speaker embeddings in the form of intra-speaker clusters. By conducting a thorough clustering analysis, we demonstrate that emotion information can be readily extracted from speaker embeddings. In order to leverage this information, we introduce a novel contrastive pretraining approach applied to emotion-unlabeled data for speech emotion recognition. The proposed approach involves the sampling of positive and the negative examples based on the intra-speaker clusters of speaker embeddings. The proposed strategy, which leverages extensive emotion-unlabeled data, leads to a significant improvement in SER performance, whether employed as a standalone pretraining task or integrated into a multi-task pretraining setting.
• Abstract（参考訳）: 話者埋め込みは、貴重な感情関連情報を持ち、特に限られたラベル付きデータを用いて、音声感情認識(SER)を強化するための有望なリソースとなる。 伝統的に、感情情報は話者の埋め込みに間接的に埋め込まれていると仮定され、その未利用に繋がった。 本研究は,話者内クラスタの形で,感情と最先端の話者埋め込みの直接的かつ有用な関係を明らかにする。 クラスタ化分析を徹底することにより,感情情報を話者埋め込みから容易に抽出できることを実証する。 この情報を活用するために,音声感情認識のための感情ラベルなしデータに適用する新しいコントラストプリトレーニング手法を提案する。 提案手法は,話者埋め込みの話者内クラスタに基づいて,正および負のサンプルをサンプリングすることを含む。 提案手法は,感情ラベルのない広範なデータを活用することで,単独の事前学習タスクとして採用するか,マルチタスクの事前学習設定に統合するかのいずれにおいても,サーの性能が大幅に向上する。

関連論文リスト

• Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
  感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。 本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
  論文  参考訳（メタデータ） (2023-12-29T08:06:45Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Dynamic Causal Disentanglement Model for Dialogue Emotion Detection [77.96255121683011]
  隠れ変数分離に基づく動的因果解離モデルを提案する。 このモデルは、対話の内容を効果的に分解し、感情の時間的蓄積を調べる。 具体的には,発話と隠れ変数の伝搬を推定する動的時間的ゆがみモデルを提案する。
  論文  参考訳（メタデータ） (2023-09-13T12:58:09Z)
• Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations [4.297070083645049]
  本稿では,音声感情認識のためのマルチスケール会話文脈学習手法を提案する。 音声の書き起こしと音響セグメントの両方について,本手法について検討した。 我々のテストによると、過去のトークンから派生したコンテキストは、以下のトークンよりも正確な予測に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-08-28T20:31:45Z)
• Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization [7.673971221635779]
  多人数会議におけるセマンティックコンテンツから話者関連情報を抽出する手法を提案する。 AISHELL-4とAliMeetingの2つのデータセットを用いた実験により,本手法は音響のみの話者ダイアリゼーションシステムよりも一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:14:19Z)
• deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
  そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。 まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。 第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
  論文  参考訳（メタデータ） (2023-02-05T16:15:46Z)
• Speaker Normalization for Self-supervised Speech Emotion Recognition [16.044405846513495]
  特徴表現から話者特性を正規化しながら、音声感情認識タスクを学習する勾配に基づく逆学習フレームワークを提案する。 提案手法は話者に依存しない設定と話者に依存しない設定の両方において有効であることを示すとともに,難易度の高いIEMOCAPデータセットに対する新しい最先端結果を得る。
  論文  参考訳（メタデータ） (2022-02-02T19:30:47Z)
• An Attribute-Aligned Strategy for Learning Speech Representation [57.891727280493015]
  属性選択機構によってこれらの問題に柔軟に対処できる音声表現を導出する属性整合学習戦略を提案する。 具体的には、音声表現を属性依存ノードに分解する層式表現可変オートエンコーダ(LR-VAE)を提案する。 提案手法は,IDのないSER上での競合性能と,無感情SV上でのより良い性能を実現する。
  論文  参考訳（メタデータ） (2021-06-05T06:19:14Z)
• Embedded Emotions -- A Data Driven Approach to Learn Transferable Feature Representations from Raw Speech Input for Emotion Recognition [1.4556324908347602]
  本研究では,大規模テキストと音声コーパスから学習した知識を自動感情認識のタスクに適用する可能性について検討する。 その結果,学習した特徴表現を音声言語からの感情の分類に効果的に適用できることが示唆された。
  論文  参考訳（メタデータ） (2020-09-30T09:18:31Z)
• An Overview of Deep-Learning-Based Audio-Visual Speech Enhancement and Separation [57.68765353264689]
  音声強調と音声分離は関連する2つの課題である。 伝統的に、これらのタスクは信号処理と機械学習技術を使って取り組まれてきた。 ディープラーニングは強力なパフォーマンスを達成するために利用されています。
  論文  参考訳（メタデータ） (2020-08-21T17:24:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。