論文の概要: MMSD-Net: Towards Multi-modal Stuttering Detection

• arxiv url: http://arxiv.org/abs/2407.11492v1
• Date: Tue, 16 Jul 2024 08:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 16:02:34.105073
• Title: MMSD-Net: Towards Multi-modal Stuttering Detection
• Title（参考訳）: MMSD-Net:マルチモーダル・スタッタ検出に向けて
• Authors: Liangyu Nie, Sudarsana Reddy Kadiri, Ruchit Agrawal,
• Abstract要約: MMSD-Netは、スタブリング検出のための最初のマルチモーダルニューラルネットワークフレームワークである。 我々のモデルでは、既存の最先端ユニモーダルアプローチよりもF1スコアが2-17%向上している。
• 参考スコア（独自算出の注目度）: 9.257985820122999
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stuttering is a common speech impediment that is caused by irregular disruptions in speech production, affecting over 70 million people across the world. Standard automatic speech processing tools do not take speech ailments into account and are thereby not able to generate meaningful results when presented with stuttered speech as input. The automatic detection of stuttering is an integral step towards building efficient, context-aware speech processing systems. While previous approaches explore both statistical and neural approaches for stuttering detection, all of these methods are uni-modal in nature. This paper presents MMSD-Net, the first multi-modal neural framework for stuttering detection. Experiments and results demonstrate that incorporating the visual signal significantly aids stuttering detection, and our model yields an improvement of 2-17% in the F1-score over existing state-of-the-art uni-modal approaches.
• Abstract（参考訳）: 発声は、世界中の7000万人以上の人々に影響を及ぼす、不規則な音声生成の破壊によって引き起こされる一般的な音声障害である。 標準の自動音声処理ツールは、音声障害を考慮に入れず、入力として散らばった音声を提示しても有意義な結果が得られない。 発声の自動検出は、効率的な文脈認識音声処理システムを構築するための重要なステップである。 従来の手法では統計的アプローチとニューラルアプローチの両方が検討されていたが、これらの手法はすべて本質的にはユニモーダルである。 本稿では,スタブリング検出のための最初のマルチモーダルニューラルネットワークであるMMSD-Netを提案する。 実験と結果から, 視覚信号の導入は, 散乱検出に大きく寄与し, 既存の一様法に比べてF1スコアが2～17%向上することが示唆された。

関連論文リスト

• Self-supervised Speech Models for Word-Level Stuttered Speech Detection [66.46810024006712]
  自己教師付き音声モデルを利用した単語レベルの発声音声検出モデルを提案する。 本評価は, 単語レベルの発声検出において, 従来の手法を超越していることを示す。
  論文  参考訳（メタデータ） (2024-09-16T20:18:20Z)
• AS-70: A Mandarin stuttered speech dataset for automatic speech recognition and stuttering event detection [46.855958156126164]
  AS-70は、マンダリンで公開されている最初の音声データセットである。 本稿では,マンダリン発声音声データセットAS-70について紹介する。
  論文  参考訳（メタデータ） (2024-06-11T13:35:50Z)
• Advancing Stuttering Detection via Data Augmentation, Class-Balanced Loss and Multi-Contextual Deep Learning [7.42741711946564]
  スタッタリング(英: Stuttering)は、制御されていない発話とコアの振る舞いを特徴とする、神経発達の音声障害である。 本稿では,データ不足に対処する多分岐学習方式におけるデータ拡張の有効性について検討する。 さらに,発声音声の異なる文脈を利用するマルチコンテキスト(MC)のStutterNetを提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:03:47Z)
• Stutter-TTS: Controlled Synthesis and Improved Recognition of Stuttered Speech [20.2646788350211]
  スタタリング(英: Stuttering)とは、音声の自然な流れが、音節、単語、フレーズのブロック、反復、延長によって中断される言語障害である。 本稿では,多種多様な発声音声を合成できるエンドツーエンドのニューラルテキスト・音声モデルであるStutter-TTSについて述べる。
  論文  参考訳（メタデータ） (2022-11-04T23:45:31Z)
• Detecting Dysfluencies in Stuttering Therapy Using wav2vec 2.0 [0.22940141855172028]
  英語コーパスのスタブリング分類のための微調整wav2vec 2.0は、汎用的特徴の有効性を高める。 本稿では、Fluencybankとドイツのセラピー中心のKassel State of Fluencyデータセットについて評価する。
  論文  参考訳（メタデータ） (2022-04-07T13:02:12Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Recent Progress in the CUHK Dysarthric Speech Recognition System [66.69024814159447]
  障害音声は、現在のデータ集約型ディープニューラルネットワーク(DNN)に基づく自動音声認識技術に対して、幅広い課題を提示している。 本稿では,香港の中国大学における音声認識システムの性能向上に向けた最近の研究成果について述べる。
  論文  参考訳（メタデータ） (2022-01-15T13:02:40Z)
• Investigation of Data Augmentation Techniques for Disordered Speech Recognition [69.50670302435174]
  本稿では,不規則音声認識のための一連のデータ拡張手法について検討する。 正常な音声と無秩序な音声の両方が増強過程に利用された。 UASpeechコーパスを用いた最終話者適応システムと、最大2.92%の絶対単語誤り率(WER)の速度摂動に基づく最良の拡張アプローチ
  論文  参考訳（メタデータ） (2022-01-14T17:09:22Z)
• StutterNet: Stuttering Detection Using Time Delay Neural Network [9.726119468893721]
  本稿では,新しい深層学習に基づく発話検出システムstutternetについて述べる。 我々は、分散発話の文脈的側面を捉えるのに適した時間遅延ニューラルネットワーク(TDNN)を用いる。 提案手法は,有望な結果を達成し,最先端の残差ニューラルネットワーク法より優れる。
  論文  参考訳（メタデータ） (2021-05-12T11:36:01Z)
• Characterizing Speech Adversarial Examples Using Self-Attention U-Net Enhancement [102.48582597586233]
  本稿では,U-Net$_At$という,U-Netに基づくアテンションモデルを提案する。 対戦型音声アタックを用いた自動音声認識(ASR)タスクの実験を行った。
  論文  参考訳（メタデータ） (2020-03-31T02:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。