論文の概要: Streaming Joint Speech Recognition and Disfluency Detection

• arxiv url: http://arxiv.org/abs/2211.08726v1
• Date: Wed, 16 Nov 2022 07:34:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 16:17:25.402667
• Title: Streaming Joint Speech Recognition and Disfluency Detection
• Title（参考訳）: ストリーム型関節音声認識と拡散検出
• Authors: Hayato Futami, Emiru Tsunoo, Kentaro Shibata, Yosuke Kashiwagi, Takao Okuda, Siddhant Arora, Shinji Watanabe
• Abstract要約: 音声認識と拡散検出を共同で解くトランスフォーマーベースのエンコーダデコーダモデルを提案する。 パイプラインアプローチと比較して、ジョイントモデルは、認識エラーに対して拡散検出を堅牢にする音響情報を利用することができる。 提案したジョイントモデルでは,BERTベースのパイプラインアプローチよりも精度とレイテンシが優れていた。
• 参考スコア（独自算出の注目度）: 30.018034246393725
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disfluency detection has mainly been solved in a pipeline approach, as post-processing of speech recognition. In this study, we propose Transformer-based encoder-decoder models that jointly solve speech recognition and disfluency detection, which work in a streaming manner. Compared to pipeline approaches, the joint models can leverage acoustic information that makes disfluency detection robust to recognition errors and provide non-verbal clues. Moreover, joint modeling results in low-latency and lightweight inference. We investigate two joint model variants for streaming disfluency detection: a transcript-enriched model and a multi-task model. The transcript-enriched model is trained on text with special tags indicating the starting and ending points of the disfluent part. However, it has problems with latency and standard language model adaptation, which arise from the additional disfluency tags. We propose a multi-task model to solve such problems, which has two output layers at the Transformer decoder; one for speech recognition and the other for disfluency detection. It is modeled to be conditioned on the currently recognized token with an additional token-dependency mechanism. We show that the proposed joint models outperformed a BERT-based pipeline approach in both accuracy and latency, on both the Switchboard and the corpus of spontaneous Japanese.
• Abstract（参考訳）: ディフルエンシー検出は主に、音声認識の処理後としてパイプラインアプローチで解決されている。 本研究では,ストリーミング方式で動作する音声認識と不整合検出を共同で解決するトランスコーダ・デコーダモデルを提案する。 パイプラインアプローチと比較して,不均一検出を認識エラーに頑健なものとし,非言語的手がかりを提供する音響情報を活用することができる。 さらに、ジョイントモデリングは低レイテンシと軽量な推論をもたらす。 ストリーム不流動性検出のための2つの共用モデル - 書き起こしエンリッチモデルとマルチタスクモデルについて検討した。 書き起こしエンリッチモデルは、不流動部分の開始点と終了点を示す特別なタグでテキストで訓練される。 しかし、遅延や標準言語モデルへの適応には問題がある。 本稿では,トランスフォーマーデコーダに2つの出力層を持つマルチタスクモデルを提案する。 追加のトークン依存性メカニズムで現在認識されているトークンで条件付けされるようにモデル化される。 提案したジョイントモデルは,スイッチボードと自発日本語のコーパスの両方において,BERTベースのパイプラインアプローチよりも精度とレイテンシが優れていた。

関連論文リスト

• Qifusion-Net: Layer-adapted Stream/Non-stream Model for End-to-End Multi-Accent Speech Recognition [1.0690007351232649]
  本稿では,ターゲットアクセントに関する事前知識を必要としないQifusion-Netと呼ばれる層適応核融合モデルを提案する。 実験の結果,提案手法は,複数のアクセントテストデータセットに対して,22.1$%と17.2$%の文字誤り率(CER)を相対的に低減し,ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-07-03T11:35:52Z)
• Large Language Models for Dysfluency Detection in Stuttered Speech [16.812800649507302]
  音声言語におけるディファレンシを正確に検出することは、自動音声処理と言語処理の部品の性能を向上させるのに役立つ。 大規模言語モデル(LLM)を非語彙入力の普遍的な学習者やプロセッサとして展開する最近の傾向に触発されて,言語モデリング問題として多ラベルディフルエンシ検出の課題にアプローチする。 本稿では,音声エンコーダモデルから抽出した音響表現をLLMに自動音声認識システムと音響表現で生成し,英語とドイツ語を含む3つのデータセット上で,ディフルエンシラベルを予測するシステムを提案する。
  論文  参考訳（メタデータ） (2024-06-16T17:51:22Z)
• Cross-Modal Learning for Anomaly Detection in Complex Industrial Process: Methodology and Benchmark [19.376814754500625]
  複雑な産業プロセスにおける異常検出は、効率的で安定で安全な操作を確実にする上で重要な役割を担っている。 本稿では,マグネシウム溶融プロセスにおける視覚特徴(ビデオ)とプロセス変数(電流)の相関を探索し,異常検出を容易にするクロスモーダルトランスを提案する。 本稿では, マグネシウム溶融プロセスの先駆的なクロスモーダルベンチマークを行い, 同期的に取得したビデオデータと電流データを220万以上のサンプルで分析した。
  論文  参考訳（メタデータ） (2024-06-13T11:40:06Z)
• DiffVein: A Unified Diffusion Network for Finger Vein Segmentation and Authentication [50.017055360261665]
  DiffVeinは、静脈分割と認証タスクを同時に処理する統合拡散モデルベースのフレームワークである。 これら2つのブランチ間の機能相互作用を改善するために,2つの特別なモジュールを導入する。 このようにして、我々のフレームワークは拡散とセグメンテーションの埋め込みの間の動的相互作用を可能にする。
  論文  参考訳（メタデータ） (2024-02-03T06:49:42Z)
• Robust Wake-Up Word Detection by Two-stage Multi-resolution Ensembles [48.208214762257136]
  オーディオストリームのリアルタイム処理のための軽量オンデバイスモデルと、サーバ側の検証モデルである。 プライバシーを保護するため、オーディオ機能は生のオーディオではなくクラウドに送られる。
  論文  参考訳（メタデータ） (2023-10-17T16:22:18Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection [54.20974251478516]
  本稿では,破滅的な忘れを克服するために,偽音声検出のための連続学習アルゴリズムを提案する。 検出ネットワークを微調整する場合,本手法では,真の発話と偽発話の比率に応じて,重み付けの方向を適応的に計算する。 本手法は,音声の感情認識などの関連分野に容易に一般化できる。
  論文  参考訳（メタデータ） (2023-08-07T05:05:49Z)
• DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
  人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。 既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。 本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
  論文  参考訳（メタデータ） (2023-04-01T08:06:43Z)
• Streaming end-to-end multi-talker speech recognition [34.76106500736099]
  本稿では,ストリームアンミキシング・アンド・認識変換器(SURT)を提案する。 我々のモデルは、様々な遅延制約を満たすバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を使用している。 公開されているLibriSpeechMixデータセットの実験から,HEATがPITよりも精度が高いことを示す。
  論文  参考訳（メタデータ） (2020-11-26T06:28:04Z)
• End-to-End Speech Recognition and Disfluency Removal [15.910282983166024]
  本稿では,エンド・ツー・エンド音声認識とディフルエンシ除去の課題について検討する。 エンド・ツー・エンドのモデルでは、フロート・トランスクリプトを直接生成できることが示されている。 統合型ASRモデルと非フルエンシモデルの評価に使用できる2つの新しい指標を提案する。
  論文  参考訳（メタデータ） (2020-09-22T03:11:37Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。