論文の概要: Can Visual Context Improve Automatic Speech Recognition for an Embodied Agent?

• arxiv url: http://arxiv.org/abs/2210.13189v1
• Date: Fri, 21 Oct 2022 11:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 12:53:22.507491
• Title: Can Visual Context Improve Automatic Speech Recognition for an Embodied Agent?
• Title（参考訳）: 視覚コンテクストは身体エージェントの自動音声認識を改善することができるか?
• Authors: Pradip Pramanick, Chayan Sarkar
• Abstract要約: 本稿では,視覚的コンテキストを取り入れた新しいデコーダバイアス手法を提案する。 修正されていないASRシステムからWERを59%削減する。
• 参考スコア（独自算出の注目度）: 3.7311680121118345
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The usage of automatic speech recognition (ASR) systems are becoming omnipresent ranging from personal assistant to chatbots, home, and industrial automation systems, etc. Modern robots are also equipped with ASR capabilities for interacting with humans as speech is the most natural interaction modality. However, ASR in robots faces additional challenges as compared to a personal assistant. Being an embodied agent, a robot must recognize the physical entities around it and therefore reliably recognize the speech containing the description of such entities. However, current ASR systems are often unable to do so due to limitations in ASR training, such as generic datasets and open-vocabulary modeling. Also, adverse conditions during inference, such as noise, accented, and far-field speech makes the transcription inaccurate. In this work, we present a method to incorporate a robot's visual information into an ASR system and improve the recognition of a spoken utterance containing a visible entity. Specifically, we propose a new decoder biasing technique to incorporate the visual context while ensuring the ASR output does not degrade for incorrect context. We achieve a 59% relative reduction in WER from an unmodified ASR system.
• Abstract（参考訳）: 自動音声認識(ASR)システムの利用は、パーソナルアシスタントからチャットボット、ホーム、産業自動化システムに至るまで、ほぼ一様になりつつある。 現代のロボットは、人間と対話するためのasr機能を備えており、音声は最も自然な対話モードである。 しかし、ロボットのasrは、パーソナルアシスタントと比べて追加の課題に直面している。 具体化エージェントであるロボットは、周囲の物理的実体を認識し、そのような実体の記述を含む音声を確実に認識する必要がある。 しかしながら、現在のASRシステムは、一般的なデータセットやオープン語彙モデリングのような、ASRトレーニングの制限のために、しばしばそうできない。 また、雑音、アクセント、遠距離音声などの推論中の悪い条件により、転写が不正確になる。 本稿では,ロボットの視覚情報をasrシステムに統合し,可視実体を含む音声発話の認識を改善する手法を提案する。 具体的には,asr出力が不正確なコンテキストに対して劣化しないよう保証しつつ,視覚的コンテキストを組み込む新しいデコーダバイアス手法を提案する。 修正されていないASRシステムからWERを59%削減する。

関連論文リスト

• Towards Unsupervised Speech Recognition Without Pronunciation Models [57.222729245842054]
  ほとんどの言語では、音声認識システムを効果的に訓練するのに十分なペア音声とテキストデータがない。 本稿では、教師なしASRシステムを開発するために、音素レキシコンへの依存を除去することを提案する。 音声合成とテキスト・テキスト・マスクによるトークン埋込から教師なし音声認識が実現可能であることを実験的に実証した。
  論文  参考訳（メタデータ） (2024-06-12T16:30:58Z)
• A Deep Learning System for Domain-specific Speech Recognition [0.0]
  著者らは、事前に訓練されたDeepSpeech2とWav2Vec2音響モデルを使って、利益特異的なASRシステムの開発を行っている。 最高の性能は、Wav2Vec2-Large-LV60音響モデルと外部KenLMから得られる。 また, 音声言語理解(SLU)の一部として, ASR 転写の誤りが生じる可能性についても検討した。
  論文  参考訳（メタデータ） (2023-03-18T22:19:09Z)
• Hey ASR System! Why Aren't You More Inclusive? Automatic Speech Recognition Systems' Bias and Proposed Bias Mitigation Techniques. A Literature Review [0.0]
  我々は、ASRの性別、人種、病気、障害者に対する偏見に対処する研究を提案する。 また、よりアクセシブルで包括的なASR技術を設計するための技術についても論じる。
  論文  参考訳（メタデータ） (2022-11-17T13:15:58Z)
• ASR data augmentation in low-resource settings using cross-lingual multi-speaker TTS and cross-lingual voice conversion [49.617722668505834]
  提案手法は,モデル学習中に1つの話者のみを用いて音声合成と音声変換を行い,ASRシステムの改善を可能にする。 対象言語における1つの実話者のみを用いてデータ拡張法を用いて、有望なASRトレーニング結果を得ることが可能である。
  論文  参考訳（メタデータ） (2022-03-29T11:55:30Z)
• Automatic Speech Recognition using limited vocabulary: A survey [0.0]
  アンダーリソース言語をターゲットにしたASRシステムを設計するためのアプローチは、限られた語彙から始めることである。 本稿では,ASRシステムの背後にあるメカニズムや技術,ツール,プロジェクト,最近のコントリビューション,さらには将来的な方向性を,限定語彙を用いて包括的に把握することを目的とする。
  論文  参考訳（メタデータ） (2021-08-23T15:51:41Z)
• On the Impact of Word Error Rate on Acoustic-Linguistic Speech Emotion Recognition: An Update for the Deep Learning Era [0.0]
  3つの現代のASRシステムを適用することで、元のスピーチから転写文を作成します。 音響音声機能の抽出と学習には、openSMILE、openXBoW、DeepSpectrum、auDeepを利用します。 IEMOCAPのスピーカーに依存しない開発およびテストパーティションで、最先端の非重み付き平均リコール値73.6,%$と73.8,%$を達成します。
  論文  参考訳（メタデータ） (2021-04-20T17:10:01Z)
• Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource End-to-End Speech Recognition [62.94773371761236]
  我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。 本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。 我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
  論文  参考訳（メタデータ） (2021-03-12T10:10:13Z)
• Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot [58.2026611111328]
  人の顔を見ることは、ノイズの多い環境での音声のフィルタリングに人間が依存するメカニズムの1つである。 スピーカーに目を向けるロボットを持つことは、挑戦的な環境でのASRのパフォーマンスに恩恵をもたらす可能性がある。 本稿では,人間の初期発達に触発された自己指導型強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-12T18:02:15Z)
• Improving Readability for Automatic Speech Recognition Transcription [50.86019112545596]
  我々は、可読性のためのASRポストプロセッシング(APR)と呼ばれる新しいNLPタスクを提案する。 APRは、ノイズの多いASR出力を、話者の意味を保ちながら、人間や下流タスクのための読みやすいテキストに変換することを目的としている。 我々は,いくつかのオープンソースモデルと適応型事前学習モデルに基づく微調整モデルと,従来のパイプライン手法との比較を行った。
  論文  参考訳（メタデータ） (2020-04-09T09:26:42Z)
• Streaming automatic speech recognition with the transformer model [59.58318952000571]
  本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。 本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。 提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
  論文  参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。