論文の概要: Multilingual Speech Emotion Recognition With Multi-Gating Mechanism and Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2211.08237v2
• Date: Wed, 16 Nov 2022 01:47:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 13:58:17.312002
• Title: Multilingual Speech Emotion Recognition With Multi-Gating Mechanism and Neural Architecture Search
• Title（参考訳）: マルチゲーティング機構とニューラルアーキテクチャ探索を用いた多言語音声感情認識
• Authors: Zihan Wang, Qi Meng, HaiFeng Lan, XinRui Zhang, KeHao Guo, Akshat Gupta
• Abstract要約: SERは、音声をHappy、Angry、Fear、Disgust、Neutralなどの感情カテゴリーに分類する。 本稿では,複数の事前学習された音声モデルから感情情報を抽出する言語特化モデルを提案する。 我々のモデルは、ドイツ語では3%、フランス語では14.3%の精度で最先端の精度を上げる。
• 参考スコア（独自算出の注目度）: 15.51730246937201
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Speech emotion recognition (SER) classifies audio into emotion categories such as Happy, Angry, Fear, Disgust and Neutral. While Speech Emotion Recognition (SER) is a common application for popular languages, it continues to be a problem for low-resourced languages, i.e., languages with no pretrained speech-to-text recognition models. This paper firstly proposes a language-specific model that extract emotional information from multiple pre-trained speech models, and then designs a multi-domain model that simultaneously performs SER for various languages. Our multidomain model employs a multi-gating mechanism to generate unique weighted feature combination for each language, and also searches for specific neural network structure for each language through a neural architecture search module. In addition, we introduce a contrastive auxiliary loss to build more separable representations for audio data. Our experiments show that our model raises the state-of-the-art accuracy by 3% for German and 14.3% for French.
• Abstract（参考訳）: 音声感情認識(ser)は、幸福、怒り、恐怖、嫌悪、中立といった感情カテゴリに音声を分類する。 音声感情認識(SER)は、一般的な言語では一般的な用途であるが、低リソース言語、すなわち事前訓練された音声認識モデルを持たない言語では問題であり続けている。 本稿では、まず、複数の事前訓練された音声モデルから感情情報を抽出する言語固有モデルを提案し、その後、様々な言語に対して同時にSERを実行するマルチドメインモデルを設計する。 マルチドメインモデルは、各言語にユニークな重み付けされた特徴の組み合わせを生成するマルチゲーティング機構と、ニューラルネットワーク検索モジュールを介して各言語の特定のニューラルネットワーク構造を検索する。 さらに,音声データに対してより分離可能な表現を構築するために,コントラスト的な補助損失を導入する。 実験の結果,ドイツ語では3%,フランス語では14.3%の精度向上が確認された。

関連論文リスト

• Streaming Bilingual End-to-End ASR model using Attention over Multiple Softmax [6.386371634323785]
  本稿では,両言語を単一のニューラルモデルで認識可能な,バイリンガル・エンド・ツー・エンド(E2E)モデリング手法を提案する。 提案モデルでは,自己認識機構によって結合された言語固有のジョイントネットワークを用いて,エンコーダと予測ネットワークを共有する。
  論文  参考訳（メタデータ） (2024-01-22T01:44:42Z)
• Decoding Emotions: A comprehensive Multilingual Study of Speech Models for Speech Emotion Recognition [3.4111723103928173]
  本稿では、8つの音声表現モデルと6つの異なる言語を用いた音声感情認識のための総合的ベンチマークを示す。 音声モデルの1つの最適層から得られる特徴を用いることで、7つのデータセットの平均誤差率を32%削減できることがわかった。 以上の結果から,中間層が感情認識において最も重要な感情情報を捉えていることが示唆された。
  論文  参考訳（メタデータ） (2023-08-17T00:30:56Z)
• Multilingual Multi-Figurative Language Detection [14.799109368073548]
  比喩的言語理解は多言語環境では 非常に過小評価されています 我々は,多言語多言語言語モデリングを導入し,文レベル図形言語検出のためのベンチマークを提供する。 テンプレートに基づく即時学習に基づく図形言語検出のためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2023-05-31T18:52:41Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• MoLE : Mixture of Language Experts for Multi-Lingual Automatic Speech Recognition [12.23416994447554]
  我々はMixture-of-Language-Expert(MoLE)という多言語音声認識ネットワークを提案する。 MoLEは、任意の言語で入力された音声から言語表現を分析し、軽量な言語トークン化器で言語固有の専門家を活性化する。 信頼性に基づいて、アクティベートされた専門家と言語に依存しない専門家を集約し、言語条件の埋め込みを表現する。
  論文  参考訳（メタデータ） (2023-02-27T13:26:17Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition [71.49308685090324]
  本稿では,未知言語における音声認識における異なる要因(モデルアーキテクチャ,音韻モデル,音声表現の種類)の影響について検討する。 独特な音、類似した音、トーン言語は、音声による在庫発見の大きな課題である。
  論文  参考訳（メタデータ） (2022-01-26T22:12:55Z)
• Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification [73.5497360800395]
  複数の言語をサポートするエンドツーエンドシステムを開発した。 我々は、事前訓練された多言語自然言語処理モデルからの知識を利用する。
  論文  参考訳（メタデータ） (2021-09-28T04:43:11Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Improved acoustic word embeddings for zero-resource languages using multilingual transfer [37.78342106714364]
  我々は、ラベル付きデータに対する複数の良質な言語からの単一の教師付き埋め込みモデルを訓練し、それを目に見えないゼロ・リソース言語に適用する。 本稿では,3つのマルチリンガルリカレントニューラルネットワーク(RNN)モデルについて考察する。全ての訓練言語の連接語彙に基づいて訓練された分類器,複数言語から同一語と異なる単語を識別する訓練されたシームズRNN,単語ペアを再構成する訓練された対応オートエンコーダ(CAE)RNNである。 これらのモデルは、ゼロリソース言語自体で訓練された最先端の教師なしモデルよりも優れており、平均精度が30%以上向上している。
  論文  参考訳（メタデータ） (2020-06-02T12:28:34Z)
• That Sounds Familiar: an Analysis of Phonetic Representations Transfer Across Languages [72.9927937955371]
  我々は、他言語に存在するリソースを用いて、多言語自動音声認識モデルを訓練する。 我々は,多言語設定における全言語間での大幅な改善と,多言語設定におけるスターク劣化を観察した。 分析の結果、ひとつの言語に固有の電話でさえ、他の言語からのトレーニングデータを追加することで大きなメリットがあることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T22:28:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。