論文の概要: Cross-lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models

• arxiv url: http://arxiv.org/abs/2409.16920v1
• Date: Wed, 25 Sep 2024 13:27:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-27 03:35:11.292120
• Title: Cross-lingual Speech Emotion Recognition: Humans vs. Self-Supervised Models
• Title（参考訳）: 言語間音声感情認識:人間対自己監督モデル
• Authors: Zhichen Han, Tianqi Geng, Hui Feng, Jiahong Yuan, Korin Richmond, Yuanchao Li,
• Abstract要約: 本研究では,人間のパフォーマンスとSSLモデルの比較分析を行った。 また、モデルと人間のSER能力を発話レベルとセグメントレベルの両方で比較する。 その結果,適切な知識伝達を行うモデルでは,対象言語に適応し,ネイティブ話者に匹敵する性能が得られることがわかった。
• 参考スコア（独自算出の注目度）: 16.0617753653454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Utilizing Self-Supervised Learning (SSL) models for Speech Emotion Recognition (SER) has proven effective, yet limited research has explored cross-lingual scenarios. This study presents a comparative analysis between human performance and SSL models, beginning with a layer-wise analysis and an exploration of parameter-efficient fine-tuning strategies in monolingual, cross-lingual, and transfer learning contexts. We further compare the SER ability of models and humans at both utterance- and segment-levels. Additionally, we investigate the impact of dialect on cross-lingual SER through human evaluation. Our findings reveal that models, with appropriate knowledge transfer, can adapt to the target language and achieve performance comparable to native speakers. We also demonstrate the significant effect of dialect on SER for individuals without prior linguistic and paralinguistic background. Moreover, both humans and models exhibit distinct behaviors across different emotions. These results offer new insights into the cross-lingual SER capabilities of SSL models, underscoring both their similarities to and differences from human emotion perception.
• Abstract（参考訳）: 自己教師付き学習(SSL)モデルを用いた音声感情認識(SER)の有効性が証明されているが、言語横断のシナリオについて限定的な研究がなされている。 本研究では,モノリンガル・クロスリンガル・トランスファレンス学習の文脈において,レイヤワイズ分析とパラメータ効率の高い微調整戦略の探索から始まる,人間のパフォーマンスとSSLモデルの比較分析を行った。 さらに、モデルと人間のSER能力を発話レベルとセグメントレベルの両方で比較する。 さらに, 方言が言語間SERに与える影響について, 人間の評価を通して検討した。 その結果,適切な知識伝達を行うモデルでは,対象言語に適応し,ネイティブ話者に匹敵する性能が得られることがわかった。 また,従来の言語的・パラ言語的背景を持たない個人に対して,方言がSERに有意な影響を及ぼすことを示す。 さらに、人間とモデルの両方が異なる感情にまたがって異なる行動を示す。 これらの結果は、SSLモデルの言語間SER機能に対する新たな洞察を与え、その類似性と人間の感情知覚の違いの両方を裏付ける。

関連論文リスト

• HLB: Benchmarking LLMs' Humanlikeness in Language Use [2.438748974410787]
  20大言語モデル(LLM)を評価する総合的人間類似度ベンチマーク(HLB)を提案する。 実験では2000人以上の被験者から回答を収集し,LSMの成果と比較した。 以上の結果から,LLMが様々な言語レベルにおいてヒトの反応をいかにうまく再現するかの微妙な相違が明らかとなった。
  論文  参考訳（メタデータ） (2024-09-24T09:02:28Z)
• Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
  本稿では, 学生の試行, 教師のデモンストレーション, 言語能力に配慮した報酬の3つの要素を組み込んだTnD学習フレームワークを提案する。 実験の結果,TnD手法は等数あるいは少人数の学生モデルの単語獲得を促進させることがわかった。 この結果から,対話型言語学習は,教師による実演や学生の試行を通じて,言語モデルにおける効率的な単語学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:57:02Z)
• Large language models as linguistic simulators and cognitive models in human research [0.0]
  人間のようなテキストを生成する大きな言語モデル(LLM)の台頭は、行動や認知研究における人間の参加者を置き換える可能性についての議論を巻き起こした。 心理学・社会科学における言語モデルの基本的有用性を評価するために,この代替視点を批判的に評価する。 この視点は、行動科学と認知科学における言語モデルの役割を再定義し、言語シミュレータや認知モデルとして機能し、マシンインテリジェンスと人間の認知と思考の類似点と相違点に光を当てている。
  論文  参考訳（メタデータ） (2024-02-06T23:28:23Z)
• Affect Recognition in Conversations Using Large Language Models [9.689990547610664]
  影響認識は人間のコミュニケーションにおいて重要な役割を担っている。 本研究では,会話における人間の影響を認識するための言語モデル(LLM)の能力について検討する。
  論文  参考訳（メタデータ） (2023-09-22T14:11:23Z)
• Cross-Lingual Cross-Age Group Adaptation for Low-Resource Elderly Speech Emotion Recognition [48.29355616574199]
  我々は、英語、中国語、カントン語という3つの異なる言語における感情認識の伝達可能性を分析する。 本研究は,異なる言語群と年齢群が特定の音声特徴を必要とすることを結論し,言語間推論を不適切な方法とする。
  論文  参考訳（メタデータ） (2023-06-26T08:48:08Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
  本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。 非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
  論文  参考訳（メタデータ） (2022-11-02T14:54:45Z)
• Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models [28.036233760742125]
  我々は多言語言語モデル(XGLMと多言語BERT)を様々な言語で因果的に探索する。 自己回帰型多言語言語モデルでは、言語間で大きなニューロンオーバーラップが見られるが、マスキング言語モデルではない。
  論文  参考訳（メタデータ） (2022-10-25T20:43:36Z)
• Perception Point: Identifying Critical Learning Periods in Speech for Bilingual Networks [58.24134321728942]
  ディープニューラルベース視覚唇読解モデルにおける認知的側面を比較し,識別する。 我々は、認知心理学におけるこれらの理論と独自のモデリングの間に強い相関関係を観察する。
  論文  参考訳（メタデータ） (2021-10-13T05:30:50Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Unsupervised Cross-lingual Representation Learning for Speech Recognition [63.85924123692923]
  XLSRは、複数の言語における音声の生波形から1つのモデルを事前学習することで、言語間音声表現を学習する。 我々は、マスク付き潜在音声表現よりも対照的なタスクを解くことで訓練されたwav2vec 2.0を構築した。 実験により、言語間事前学習はモノリンガル事前訓練よりも著しく優れていることが示された。
  論文  参考訳（メタデータ） (2020-06-24T18:25:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。