Fugu-MT 論文翻訳(概要): MELD-ST: An Emotion-aware Speech Translation Dataset

論文の概要: MELD-ST: An Emotion-aware Speech Translation Dataset

arxiv url: http://arxiv.org/abs/2405.13233v1
Date: Tue, 21 May 2024 22:40:38 GMT
ステータス: 処理完了
システム内更新日: 2024-05-25 01:53:42.511619
Title: MELD-ST: An Emotion-aware Speech Translation Dataset
Title（参考訳）: MELD-ST:感情対応音声翻訳データセット
Authors: Sirou Chen, Sakiko Yahata, Shuichiro Shimizu, Zhengdong Yang, Yihang Li, Chenhui Chu, Sadao Kurohashi,
Abstract要約: 本稿では,感情認識型音声翻訳タスクのためのMELD-STデータセットについて述べる。各言語ペアには、MELDデータセットからの感情ラベルを付加した約10,000の発話が含まれている。データセット上のSeamlessM4Tモデルを用いたベースライン実験は、感情ラベルによる微調整によって、いくつかの環境での翻訳性能が向上することを示している。
参考スコア（独自算出の注目度）: 29.650945917540316
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Emotion plays a crucial role in human conversation. This paper underscores the significance of considering emotion in speech translation. We present the MELD-ST dataset for the emotion-aware speech translation task, comprising English-to-Japanese and English-to-German language pairs. Each language pair includes about 10,000 utterances annotated with emotion labels from the MELD dataset. Baseline experiments using the SeamlessM4T model on the dataset indicate that fine-tuning with emotion labels can enhance translation performance in some settings, highlighting the need for further research in emotion-aware speech translation systems.
Abstract（参考訳）: 感情は人間の会話において重要な役割を果たす。本稿では,音声翻訳における感情の意義について述べる。本稿では,感情認識型音声翻訳タスクのためのMELD-STデータセットについて述べる。各言語ペアには、MELDデータセットからの感情ラベルを付加した約10,000の発話が含まれている。データセット上のSeamlessM4Tモデルを用いたベースライン実験では、感情ラベルを用いた微調整により、一部の環境での翻訳性能が向上し、感情対応音声翻訳システムにおけるさらなる研究の必要性が強調されている。

関連論文リスト

BRIGHTER: BRIdging the Gap in Human-Annotated Textual Emotion Recognition Datasets for 28 Languages [93.92804151830744]
BRIGHTERは28の言語で感情アノテートされたデータセットの集合である。データ収集とアノテーションプロセスとこれらのデータセット構築の課題について説明する。 BRIGHTERデータセットは、テキストベースの感情認識のギャップを埋めるためのステップであることを示す。
論文参考訳（メタデータ） (2025-02-17T15:39:50Z)
Akan Cinematic Emotions (ACE): A Multimodal Multi-party Dataset for Emotion Recognition in Movie Dialogues [4.894647740789939]
アカン会話感情データセット(Akan Conversation Emotion dataset)は、アフリカ語における最初のマルチモーダル感情対話データセットである。 385の感情ラベル付き対話と6,162の発話が音声、視覚、テキストのモダリティにわたって含まれている。このデータセットに韻律ラベルがあることは、最初の韻律的に注釈付けされたアフリカの言語データセットにもなった。
論文参考訳（メタデータ） (2025-02-16T03:24:33Z)
Leveraging Cross-Attention Transformer and Multi-Feature Fusion for Cross-Linguistic Speech Emotion Recognition [60.58049741496505]
音声感情認識(SER)は、人間とコンピュータの相互作用を強化する上で重要な役割を担っている。本稿では,HuBERT,MFCC,および韻律特性を組み合わせたHuMP-CATを提案する。 HMP-CATは、ターゲットデータセットから少量の音声でソースモデルを微調整することにより、平均78.75%の精度が得られることを示す。
論文参考訳（メタデータ） (2025-01-06T14:31:25Z)
Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
論文参考訳（メタデータ） (2024-12-12T11:30:41Z)
Generative Emotion Cause Explanation in Multimodal Conversations [23.39751445330256]
我々は、新しいタスク textbfMultimodal textbfConversation textbfEmotion textbfCause textbfExplanation (MCECE)を提案する。マルチモーダル会話シナリオにおいて、ターゲット発話に対する感情的原因を詳細に説明することを目的としている。 FAME-Netという新しいアプローチが提案され、ビデオの表情を通して、視覚データを解析し、感情を正確に解釈するLarge Language Models(LLMs)の力を利用する。
論文参考訳（メタデータ） (2024-11-01T09:16:30Z)
Emotional Dimension Control in Language Model-Based Text-to-Speech: Spanning a Broad Spectrum of Human Emotions [37.075331767703986]
現在の感情的テキスト音声システムは、人間の感情の幅広い範囲を模倣する際の課題に直面している。本稿では,喜び,覚醒,支配の制御を容易にするTTSフレームワークを提案する。 TTSトレーニング中に感情的な音声データを必要とせずに、感情的なスタイルの多様性を合成することができる。
論文参考訳（メタデータ） (2024-09-25T07:16:16Z)
Usefulness of Emotional Prosody in Neural Machine Translation [1.0205541448656992]
本稿では,音声中の感情を自動的に認識する外部ソースを追加することで,翻訳品質を向上させることを提案する。この研究は、各感情が感情の重なり合う特定の語彙と関連しているという仮定によって動機付けられている。 NMTシステムに感情情報、特に覚醒情報を統合することで、より良い翻訳が可能になることを示す。
論文参考訳（メタデータ） (2024-04-27T18:04:28Z)
Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
論文参考訳（メタデータ） (2023-12-19T08:47:50Z)
Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
論文参考訳（メタデータ） (2023-11-16T06:20:13Z)
Effect of Attention and Self-Supervised Speech Embeddings on Non-Semantic Speech Tasks [3.570593982494095]
我々は、より現実的な認識課題として、音声感情理解を考察する。我々は,ComParEの多言語話者の豊富なデータセットと,その感情の「感情共有」や知覚の多言語回帰ターゲットを利用する。以上の結果から,HuBERT-Largeの自己アテンションに基づく軽量シーケンスモデルでは,報告されたベースラインよりも4.6%向上していることがわかった。
論文参考訳（メタデータ） (2023-08-28T07:11:27Z)
EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
論文参考訳（メタデータ） (2021-06-17T08:34:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。