論文の概要: Empowering Dysarthric Speech: Leveraging Advanced LLMs for Accurate Speech Correction and Multimodal Emotion Analysis

• arxiv url: http://arxiv.org/abs/2410.12867v1
• Date: Sun, 13 Oct 2024 20:54:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:22:10.867369
• Title: Empowering Dysarthric Speech: Leveraging Advanced LLMs for Accurate Speech Correction and Multimodal Emotion Analysis
• Title（参考訳）: 変形性関節症音声の高精度補正とマルチモーダル感情分析のための高度なLCMの活用
• Authors: Kaushal Attaluri, Anirudh CHVS, Sireesha Chittepu,
• Abstract要約: 本稿では, 変形性関節症を認識・翻訳するための新しいアプローチを提案する。 我々は、高精度な音声補正とマルチモーダル感情分析に先進的な大規模言語モデルを活用する。 我々の枠組みは、意図した文を歪んだ音声から高精度に再構成しながら、幸福、悲しみ、中立、驚き、怒り、恐怖などの感情を識別する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Dysarthria is a motor speech disorder caused by neurological damage that affects the muscles used for speech production, leading to slurred, slow, or difficult-to-understand speech. It affects millions of individuals worldwide, including those with conditions such as stroke, traumatic brain injury, cerebral palsy, Parkinsons disease, and multiple sclerosis. Dysarthria presents a major communication barrier, impacting quality of life and social interaction. This paper introduces a novel approach to recognizing and translating dysarthric speech, empowering individuals with this condition to communicate more effectively. We leverage advanced large language models for accurate speech correction and multimodal emotion analysis. Dysarthric speech is first converted to text using OpenAI Whisper model, followed by sentence prediction using fine-tuned open-source models and benchmark models like GPT-4.o, LLaMA 3.1 70B and Mistral 8x7B on Groq AI accelerators. The dataset used combines the TORGO dataset with Google speech data, manually labeled for emotional context. Our framework identifies emotions such as happiness, sadness, neutrality, surprise, anger, and fear, while reconstructing intended sentences from distorted speech with high accuracy. This approach demonstrates significant advancements in the recognition and interpretation of dysarthric speech.
• Abstract（参考訳）: 運動失調症(Dysarthria)は、神経学的障害によって引き起こされる運動性発声障害であり、発声に使用される筋肉に影響を及ぼす。 脳卒中、外傷性脳損傷、脳性麻痺、パーキンソンズ病、多発性硬化症など、世界中の何百万人もの患者に影響を与える。 dysarthriaは、生活の質と社会的相互作用に影響を与える主要なコミュニケーション障壁を提示する。 本稿では,この状態の個人がより効果的にコミュニケーションできるように,変形性音声を認識・翻訳するための新しいアプローチを提案する。 我々は、高精度な音声補正とマルチモーダル感情分析に先進的な大規模言語モデルを活用する。 発語はまずOpenAI Whisperモデルを用いてテキストに変換され、続いてGPT-4.o、LLaMA 3.1 70B、Mistral 8x7Bなどの微調整されたオープンソースモデルとベンチマークモデルを用いた文予測がGroq AIアクセラレータ上で行われる。 使用されるデータセットは、TORGOデータセットとGoogleの音声データを組み合わせて、感情的コンテキストを手動でラベル付けする。 我々の枠組みは、意図した文を歪んだ音声から高精度に再構成しながら、幸福、悲しみ、中立、驚き、怒り、恐怖などの感情を識別する。 この手法は, 変形性音声の認識と解釈において, 顕著な進歩を示すものである。

関連論文リスト

• Geometry of orofacial neuromuscular signals: speech articulation decoding using surface electromyography [0.0]
  何百万人もの個人が、神経筋疾患、脳卒中、外傷、頭頸部がん手術により、知能的に話す能力を失っている。 非侵襲的表面筋電図(sEMG)は、これらの個人における音声出力の回復を約束している。 目標は、音声を静かに生成するときに複数の音場からsEMG信号を収集し、その信号をデコードして、流動的で自然なコミュニケーションを可能にすることである。
  論文  参考訳（メタデータ） (2024-11-04T20:31:22Z)
• Accurate synthesis of Dysarthric Speech for ASR data augmentation [5.223856537504927]
  Dysarthria は運動性発声障害であり、しばしば発声能力の低下を特徴とする。 本稿では,ASRトレーニングデータ拡張を目的とした新しい音声合成法を提案する。
  論文  参考訳（メタデータ） (2023-08-16T15:42:24Z)
• EmoSpeech: Guiding FastSpeech2 Towards Emotional Text to Speech [0.0]
  最先端の音声モデルは、人間の声にできるだけ近づこうとしている。 感情をモデル化することは、Text-To-Speech (TTS) 研究の不可欠な部分である。 EmoSpeechは、生成された音声におけるMOSスコアと感情認識の精度に関する既存のモデルを上回る。
  論文  参考訳（メタデータ） (2023-06-28T19:34:16Z)
• ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models [83.07390037152963]
  ZET-Speech はゼロショット適応型 TTS モデルである。 ユーザは、短い中性音声セグメントとターゲットの感情ラベルのみを使用して、任意の話者の感情音声を合成することができる。 実験の結果,ZET-Speechは自然音声と感情音声の合成に成功していることがわかった。
  論文  参考訳（メタデータ） (2023-05-23T08:52:00Z)
• Cross-lingual Self-Supervised Speech Representations for Improved Dysarthric Speech Recognition [15.136348385992047]
  本研究では, 変形性関節症に対するASRシステムの訓練機能として, Wav2Vec を用いた自己教師型音声表現の有用性について検討した。 我々は、Wav2Vec、Hubert、および言語間XLSRモデルから抽出された特徴を持つ音響モデルを訓練する。 結果から,大容量データに事前学習した音声表現は,単語誤り率(WER)を向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-04-04T17:36:01Z)
• Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation [59.41186714127256]
  変形性音声再建(DSR)は,変形性音声の品質向上を目的としている。 話者識別に最適化された話者エンコーダ (SE) について検討した。 我々は,新しいマルチタスク学習戦略,すなわち対人話者適応(ASA)を提案する。
  論文  参考訳（メタデータ） (2022-02-18T08:59:36Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• Textless Speech Emotion Conversion using Decomposed and Discrete Representations [49.55101900501656]
  我々は、音声を、コンテンツ単位、F0、話者、感情からなる離散的、非絡み合いの学習表現に分解する。 まず、内容単位を対象の感情に翻訳し、その単位に基づいて韻律的特徴を予測することによって、音声内容を変更する。 最後に、予測された表現をニューラルボコーダに入力して音声波形を生成する。
  論文  参考訳（メタデータ） (2021-11-14T18:16:42Z)
• EMOVIE: A Mandarin Emotion Speech Dataset with a Simple Emotional Text-to-Speech Model [56.75775793011719]
  音声ファイルを含む9,724のサンプルとその感情ラベル付きアノテーションを含むマンダリン感情音声データセットを導入,公開する。 入力として追加の参照音声を必要とするこれらのモデルとは異なり、我々のモデルは入力テキストから直接感情ラベルを予測し、感情埋め込みに基づいてより表現力のある音声を生成することができる。 実験段階では、まず感情分類タスクによってデータセットの有効性を検証し、次に提案したデータセットに基づいてモデルをトレーニングし、一連の主観評価を行う。
  論文  参考訳（メタデータ） (2021-06-17T08:34:21Z)
• Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI [9.614694312155798]
  本稿では,音声合成中の声道形状の可変長列における音響情報を理解する,ディープニューラルネットワークに基づく学習フレームワークを提案する。 提案するフレームワークは、畳み込み、繰り返しネットワーク、接続性時間的分類損失から成り、完全にエンドツーエンドに訓練されている。 我々の知る限りでは、この研究は、rtMRIビデオで捉えた個人の動脈の動きに基づいて、音声文全体の認識を示す最初の研究である。
  論文  参考訳（メタデータ） (2021-06-16T11:20:02Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。