論文の概要: Silent versus modal multi-speaker speech recognition from ultrasound and video

• arxiv url: http://arxiv.org/abs/2103.00333v1
• Date: Sat, 27 Feb 2021 21:34:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:10:10.861434
• Title: Silent versus modal multi-speaker speech recognition from ultrasound and video
• Title（参考訳）: 超音波とビデオによるサイレント対モーダルマルチスピーカ音声認識
• Authors: Manuel Sam Ribeiro, Aciel Eshky, Korin Richmond, Steve Renals
• Abstract要約: 舌の超音波画像と唇の映像から多話者音声認識について検討した。 モーダル音声からの画像データの訓練を行い,2つの発話モード(無声モードとモーダル音声)のマッチングテストセットの評価を行った。 画像データからの無声音声認識はモーダル音声認識に比べて低調であり,訓練とテストの発話モードミスマッチが原因と考えられる。
• 参考スコア（独自算出の注目度）: 43.919073642794324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate multi-speaker speech recognition from ultrasound images of the tongue and video images of the lips. We train our systems on imaging data from modal speech, and evaluate on matched test sets of two speaking modes: silent and modal speech. We observe that silent speech recognition from imaging data underperforms compared to modal speech recognition, likely due to a speaking-mode mismatch between training and testing. We improve silent speech recognition performance using techniques that address the domain mismatch, such as fMLLR and unsupervised model adaptation. We also analyse the properties of silent and modal speech in terms of utterance duration and the size of the articulatory space. To estimate the articulatory space, we compute the convex hull of tongue splines, extracted from ultrasound tongue images. Overall, we observe that the duration of silent speech is longer than that of modal speech, and that silent speech covers a smaller articulatory space than modal speech. Although these two properties are statistically significant across speaking modes, they do not directly correlate with word error rates from speech recognition.
• Abstract（参考訳）: 舌の超音波画像と唇の映像から多話者音声認識について検討した。 モーダル音声からの画像データの訓練を行い,2つの発話モード(無声モードとモーダル音声)のマッチングテストセットの評価を行った。 画像データからの無声音声認識はモーダル音声認識に比べて低調であり,訓練とテストの発話モードミスマッチが原因と考えられる。 fMLLRや教師なしモデル適応など、ドメインミスマッチに対処する手法を用いて、サイレント音声認識性能を向上させます。 また,発話継続時間と調音空間の大きさの観点で,無声音声とモーダル音声の特性を解析した。 調音空間を推定するために,超音波舌画像から抽出した舌スプラインの凸殻を計算した。 全体として、サイレント音声の持続時間はモーダル音声よりも長く、サイレント音声はモーダル音声よりも小さな調音空間をカバーすることを観察する。 これら2つの特性は発話モードにおいて統計的に有意であるが、音声認識による単語誤り率と直接相関しない。

関連論文リスト

• Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech [29.510756530126837]
  音声中の人間の声道のMRIビデオにおいて,音声を視覚的に表現するデータ駆動方式を提案する。 先行知識に埋め込まれた大規模な事前学習音声モデルを用いて、視覚領域を一般化し、見当たらないデータを生成する。
  論文  参考訳（メタデータ） (2024-09-23T20:19:24Z)
• Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study [68.88536866933038]
  音声信号は、通常、毎秒数万のレートでサンプリングされ、冗長性を含んでいる。 近年の研究では、自己教師型学習表現から派生した離散音声単位の使用が提案されている。 復号化やサブワードモデリングなどの様々な手法を適用することで、さらに音声列の長さを圧縮することができる。
  論文  参考訳（メタデータ） (2023-09-27T17:21:13Z)
• Improving the Gap in Visual Speech Recognition Between Normal and Silent Speech Based on Metric Learning [11.50011780498048]
  本稿では,視覚音声認識(VSR)における正常音声と無声音声のパフォーマンスギャップに対処する新しい距離学習手法を提案する。 本稿では,通常の音声とサイレント音声の共有リテラルコンテンツを活用し,ビセムに基づく計量学習手法を提案する。 本手法は,限られた訓練データであってもサイレントVSRの精度が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-23T16:20:46Z)
• Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
  自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。 音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。 本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
  論文  参考訳（メタデータ） (2022-05-21T16:52:57Z)
• Self-Supervised Speech Representations Preserve Speech Characteristics while Anonymizing Voices [15.136348385992047]
  我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。 変換音声は、元の音声の1%以内に低い単語誤り率を保持する。 調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T17:48:01Z)
• Audio-Visual Speech Codecs: Rethinking Audio-Visual Speech Enhancement by Re-Synthesis [67.73554826428762]
  本稿では,AR/VRにおける高忠実度通信のための新しい音声・視覚音声強調フレームワークを提案する。 提案手法は音声・視覚音声の手がかりを利用してニューラル音声のコードを生成することで,ノイズ信号からクリーンでリアルな音声を効率的に合成する。
  論文  参考訳（メタデータ） (2022-03-31T17:57:10Z)
• Speaker Extraction with Co-Speech Gestures Cue [79.91394239104908]
  話者抽出のための話者キューとして,手動や体の動きなど,共同音声ジェスチャシーケンスの活用について検討する。 目標話者に対する注意深い聴取を行うために,共音声ジェスチャキューを用いて2つのネットワークを提案する。 実験結果から, 対象話者の関連付けにおいて, 共音声のジェスチャーキューが有意であり, 抽出した音声の品質は未処理の混合音声よりも有意に向上したことが示された。
  論文  参考訳（メタデータ） (2022-03-31T06:48:52Z)
• "Notic My Speech" -- Blending Speech Patterns With Multimedia [65.91370924641862]
  音声認識と理解における視点依存と視覚的重要性の両方をモデル化するための視点時間的注意機構を提案する。 提案手法は, ビセム誤差率において, 既存の作業よりも4.99%優れていた。 モデルでは,多視点音声に対する理解と人間の知覚との間に強い相関関係があることが示されている。
  論文  参考訳（メタデータ） (2020-06-12T06:51:55Z)
• MultiQT: Multimodal Learning for Real-Time Question Tracking in Speech [4.384576489684272]
  本稿では,音声中のリアルタイムシーケンスラベリングに対する新しいアプローチを提案する。 本モデルでは、音声とそれ自身のテキスト表現を2つの異なるモダリティまたはビューとして扱う。 テキストや音声のみと比較して,2つのモードから共同学習を行うことで大きな効果が得られた。
  論文  参考訳（メタデータ） (2020-05-02T12:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。