論文の概要: YOLO-Stutter: End-to-end Region-Wise Speech Dysfluency Detection

• arxiv url: http://arxiv.org/abs/2408.15297v1
• Date: Tue, 27 Aug 2024 11:31:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-29 18:12:06.883558
• Title: YOLO-Stutter: End-to-end Region-Wise Speech Dysfluency Detection
• Title（参考訳）: YOLO-Stutter:エンド・ツー・エンド領域-ワイズ音声障害検出
• Authors: Xuanru Zhou, Anshul Kashyap, Steve Li, Ayati Sharma, Brittany Morin, David Baquirin, Jet Vonk, Zoe Ezzes, Zachary Miller, Maria Luisa Gorno Tempini, Jiachen Lian, Gopala Krishna Anumanchipalli,
• Abstract要約: YOLO-Stutterは、時間的精度でディファレンシを検出する最初のエンドツーエンド手法である。 VCTK-StutterとVCTK-TTSは、繰り返し、ブロック、欠落、置換、延長といった自然な発声障害をシミュレートする。
• 参考スコア（独自算出の注目度）: 5.42845980208244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dysfluent speech detection is the bottleneck for disordered speech analysis and spoken language learning. Current state-of-the-art models are governed by rule-based systems which lack efficiency and robustness, and are sensitive to template design. In this paper, we propose YOLO-Stutter: a first end-to-end method that detects dysfluencies in a time-accurate manner. YOLO-Stutter takes imperfect speech-text alignment as input, followed by a spatial feature aggregator, and a temporal dependency extractor to perform region-wise boundary and class predictions. We also introduce two dysfluency corpus, VCTK-Stutter and VCTK-TTS, that simulate natural spoken dysfluencies including repetition, block, missing, replacement, and prolongation. Our end-to-end method achieves state-of-the-art performance with a minimum number of trainable parameters for on both simulated data and real aphasia speech. Code and datasets are open-sourced at https://github.com/rorizzz/YOLO-Stutter
• Abstract（参考訳）: 難解な音声検出は、混乱した音声分析と音声言語学習のボトルネックとなる。 現在の最先端モデルは、効率性と堅牢性に欠け、テンプレート設計に敏感なルールベースのシステムによって管理されている。 本稿では,時間的精度で不規則を検出する最初のエンドツーエンド手法であるYOLO-Stutterを提案する。 YOLO-Stutterは、不完全な音声テキストアライメントを入力とし、次いで空間的特徴集約器と時間的依存抽出器を用いて、領域境界とクラス予測を行う。 また, VCTK-Stutter と VCTK-TTS という2つのディフルエンシコーパスを導入し, 繰り返し, ブロック, 欠落, 置換, 延長などの自然な音声のディフルエンシをシミュレートした。 我々のエンドツーエンドの手法は、シミュレーションデータと実際の失語症音声の両方において、最小限のトレーニング可能なパラメータで最先端の性能を達成する。 コードとデータセットはhttps://github.com/rorizzz/YOLO-Stutterでオープンソース化される

関連論文リスト

• Augmenting Automatic Speech Recognition Models with Disfluency Detection [12.45703869323415]
  音声の拡散は、会話や自発的な発話でよく起こる。 現在の研究は、主に、音声の正確な位置と持続時間を見越して、書き起こし中の不一致を検出することに焦点を当てている。 我々は,任意のASRモデルを拡張し,開集合不一致を検出するための推論のみのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-09-16T11:13:14Z)
• Stutter-Solver: End-to-end Multi-lingual Dysfluency Detection [4.126904442587873]
  Stutter-r: 正確な型と時刻の書き起こしで逆流を検出するエンドツーエンドのフレームワーク。 VCTK-Pro、VCTK-Art、AISHELL3-Proは自然発声障害をシミュレートする。 提案手法は, 利用可能なすべてのディフルエンシコーパスに対して, 最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-09-15T06:11:00Z)
• SimpleSpeech 2: Towards Simple and Efficient Text-to-Speech with Flow-based Scalar Latent Transformer Diffusion Models [64.40250409933752]
  我々は、SimpleSpeech 2.0と呼ばれるシンプルで効率的な非自己回帰(NAR)TSフレームワークを実装することで、過去の出版物の上に構築した。 SimpleSpeech 2は、自己回帰(AR)法と非自己回帰(NAR)法の両方の長所を効果的に組み合わせている。 我々は,従来の作業と他の大規模TSモデル(SOTA)と比較して,生成性能と生成速度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-08-25T17:07:39Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Unsupervised Pre-Training For Data-Efficient Text-to-Speech On Low Resource Languages [15.32264927462068]
  そこで本研究では,大容量の非転写音声データを利用したシーケンス・ツー・シーケンスTSモデルの教師なし事前学習手法を提案する。 主なアイデアは、歪んだものから切り離されたメル・スペクトログラムを再構築するモデルを事前訓練することである。 低リソース言語シナリオにおける提案手法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2023-03-28T01:26:00Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• Preliminary study on using vector quantization latent spaces for TTS/VC systems with consistent performance [55.10864476206503]
  本稿では,潜在言語埋め込みをモデル化するための量子化ベクトルの利用について検討する。 トレーニングにおいて、潜伏空間上の異なるポリシーを強制することにより、潜伏言語埋め込みを得ることができる。 実験の結果,ベクトル量子化法で構築した音声クローニングシステムは,知覚的評価の点でわずかに劣化していることがわかった。
  論文  参考訳（メタデータ） (2021-06-25T07:51:35Z)
• StutterNet: Stuttering Detection Using Time Delay Neural Network [9.726119468893721]
  本稿では,新しい深層学習に基づく発話検出システムstutternetについて述べる。 我々は、分散発話の文脈的側面を捉えるのに適した時間遅延ニューラルネットワーク(TDNN)を用いる。 提案手法は,有望な結果を達成し,最先端の残差ニューラルネットワーク法より優れる。
  論文  参考訳（メタデータ） (2021-05-12T11:36:01Z)
• FluentNet: End-to-End Detection of Speech Disfluency with Deep Learning [23.13972240042859]
  本稿では,複数の異なる分散型を検出可能なエンドツーエンドのディープニューラルネットワークであるFluentNetを提案する。 FluentNetは、強いスペクトルフレームレベルの表現の学習を容易にするSqueeze-and-Excitation Residual畳み込みニューラルネットワークで構成されている。 合成スタッターを用いたパブリックなLibriSpeechデータセットに基づく分散データセットを提案する。
  論文  参考訳（メタデータ） (2020-09-23T21:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。