Fugu-MT 論文翻訳(概要): Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks

論文の概要: Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks

arxiv url: http://arxiv.org/abs/2308.14359v3
Date: Wed, 27 Sep 2023 18:00:54 GMT
ステータス: 処理完了
システム内更新日: 2023-09-29 19:59:00.922879
Title: Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks
Title（参考訳）: 非意味的音声課題に対する注意と自己教師付き音声埋め込みの効果
Authors: Payal Mohapatra, Akash Pandey, Yueyuan Sui, Qi Zhu
Abstract要約: 我々は、より現実的な認識課題として、音声感情理解を考察する。我々は,ComParEの多言語話者の豊富なデータセットと,その感情の「感情共有」や知覚の多言語回帰ターゲットを利用する。以上の結果から,HuBERT-Largeの自己アテンションに基づく軽量シーケンスモデルでは,報告されたベースラインよりも4.6%向上していることがわかった。
参考スコア（独自算出の注目度）: 3.570593982494095
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Human emotion understanding is pivotal in making conversational technology mainstream. We view speech emotion understanding as a perception task which is a more realistic setting. With varying contexts (languages, demographics, etc.) different share of people perceive the same speech segment as a non-unanimous emotion. As part of the ACM Multimedia 2023 Computational Paralinguistics ChallengE (ComParE) in the EMotion Share track, we leverage their rich dataset of multilingual speakers and multi-label regression target of 'emotion share' or perception of that emotion. We demonstrate that the training scheme of different foundation models dictates their effectiveness for tasks beyond speech recognition, especially for non-semantic speech tasks like emotion understanding. This is a very complex task due to multilingual speakers, variability in the target labels, and inherent imbalance in the regression dataset. Our results show that HuBERT-Large with a self-attention-based light-weight sequence model provides 4.6% improvement over the reported baseline.
Abstract（参考訳）: 人間の感情理解は会話型テクノロジーを主流にする上で重要である。我々は、音声の感情理解を、より現実的な認識課題と見なしている。さまざまな状況(言語、人口統計など)において、異なる人々のシェアは、非満場一致の感情と同じ音声セグメントを知覚する。 ACM Multimedia 2023 Computational Paralinguistics ChallengE (ComParE) in the EMotion Share Trackでは、多言語話者の豊富なデータセットと「感情共有」のマルチラベル回帰目標を活用。異なる基礎モデルのトレーニングスキームは、音声認識以外のタスク、特に感情理解のような非意味的な音声タスクに有効であることを示す。これは、多言語話者、ターゲットラベルのばらつき、回帰データセットの固有の不均衡による非常に複雑なタスクである。以上の結果から,hubert-largeは自己着眼に基づく軽量シーケンスモデルにより,ベースラインの4.6%向上した。

関連論文リスト

Attention-based Interactive Disentangling Network for Instance-level Emotional Voice Conversion [81.1492897350032]
感情音声変換(Emotional Voice Conversion)は、非感情成分を保存しながら、与えられた感情に応じて音声を操作することを目的とする。本稿では,音声変換にインスタンスワイドな感情知識を活用する,意図に基づく対話型ディスタングネットワーク(AINN)を提案する。
論文参考訳（メタデータ） (2023-12-29T08:06:45Z)
Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文参考訳（メタデータ） (2023-12-19T08:47:50Z)
Speech and Text-Based Emotion Recognizer [0.9168634432094885]
我々は、音声感情認識のための公開データセットからバランスの取れたコーパスを構築する。最良システムはマルチモーダル音声とテキストベースモデルであり,UA(Unweighed Accuracy)+WA(Weighed Accuracy)を119.66のベースラインアルゴリズムと比較して157.57の性能を提供する。
論文参考訳（メタデータ） (2023-12-10T05:17:39Z)
CLARA: Multilingual Contrastive Learning for Audio Representation Acquisition [5.520654376217889]
CLARAはラベル付きデータへの依存を最小限に抑え、言語間の一般化を強化する。我々のアプローチは、主観的評価問題を克服し、音声における感情的ニュアンスを十分に捉えている。低リソース言語に適応し、多言語音声表現学習の進歩を示す。
論文参考訳（メタデータ） (2023-10-18T09:31:56Z)
Multiscale Contextual Learning for Speech Emotion Recognition in Emergency Call Center Conversations [4.297070083645049]
本稿では,音声感情認識のためのマルチスケール会話文脈学習手法を提案する。音声の書き起こしと音響セグメントの両方について,本手法について検討した。我々のテストによると、過去のトークンから派生したコンテキストは、以下のトークンよりも正確な予測に大きな影響を及ぼす。
論文参考訳（メタデータ） (2023-08-28T20:31:45Z)
AffectEcho: Speaker Independent and Language-Agnostic Emotion and Affect Transfer for Speech Synthesis [13.918119853846838]
Affectは、原子価、覚醒、強さを含む感情的特徴であり、真正な会話を可能にする重要な属性である。本稿では,Vector Quantized Codebookを用いた感情翻訳モデルAffectEchoを提案する。それぞれの話者に特有のアイデンティティ、スタイル、感情のリズムを保ちながら、生成した音声の感情を制御する方法の有効性を実証する。
論文参考訳（メタデータ） (2023-08-16T06:28:29Z)
deep learning of segment-level feature representation for speech emotion recognition in conversations [9.432208348863336]
そこで本稿では,意図的文脈依存と話者感応的相互作用をキャプチャする対話型音声感情認識手法を提案する。まず、事前訓練されたVGGishモデルを用いて、個々の発話におけるセグメントベース音声表現を抽出する。第2に、注意的双方向リカレントユニット(GRU)は、文脈に敏感な情報をモデル化し、話者内および話者間依存関係を共同で探索する。
論文参考訳（メタデータ） (2023-02-05T16:15:46Z)
Accurate Emotion Strength Assessment for Seen and Unseen Speech Based on Data-Driven Deep Learning [70.30713251031052]
本研究では,データ駆動型深層学習モデル,すなわちSenseNetを提案する。実験の結果,提案した強度ネットの予測感情強度は,目視と目視の両方の真理値と高い相関性を示した。
論文参考訳（メタデータ） (2022-06-15T01:25:32Z)
Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
論文参考訳（メタデータ） (2021-11-14T18:16:42Z)
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文参考訳（メタデータ） (2021-06-17T08:34:21Z)
Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
論文参考訳（メタデータ） (2021-03-31T04:56:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。