Fugu-MT 論文翻訳(概要): Improving RNN-Transducers with Acoustic LookAhead

論文の概要: Improving RNN-Transducers with Acoustic LookAhead

arxiv url: http://arxiv.org/abs/2307.05006v1
Date: Tue, 11 Jul 2023 03:57:00 GMT
ステータス: 処理完了
システム内更新日: 2023-07-12 16:22:27.064317
Title: Improving RNN-Transducers with Acoustic LookAhead
Title（参考訳）: 音響ルックアヘッドを用いたRNNトランスデューサの改良
Authors: Vinit S. Unni, Ashish Mittal, Preethi Jyothi, Sunita Sarawagi
Abstract要約: RNN-Transducers (RNN-Ts) は音声からテキストへの変換のためのエンドツーエンドモデルとして広く受け入れられている。未来を先取りしてテキスト表現をより音響的に基礎づけるLookAheadを提案する。
参考スコア（独自算出の注目度）: 32.19475947986392
License: http://creativecommons.org/licenses/by/4.0/
Abstract: RNN-Transducers (RNN-Ts) have gained widespread acceptance as an end-to-end model for speech to text conversion because of their high accuracy and streaming capabilities. A typical RNN-T independently encodes the input audio and the text context, and combines the two encodings by a thin joint network. While this architecture provides SOTA streaming accuracy, it also makes the model vulnerable to strong LM biasing which manifests as multi-step hallucination of text without acoustic evidence. In this paper we propose LookAhead that makes text representations more acoustically grounded by looking ahead into the future within the audio input. This technique yields a significant 5%-20% relative reduction in word error rate on both in-domain and out-of-domain evaluation sets.
Abstract（参考訳）: RNN-Transducers (RNN-Ts) は音声からテキストへの変換のエンドツーエンドモデルとして広く受け入れられている。典型的なRNN-Tは入力オーディオとテキストコンテキストを独立に符号化し、2つのエンコーディングを薄いジョイントネットワークで結合する。このアーキテクチャはSOTAストリーミングの精度を提供するが、アコースティック・エビデンスなしでテキストの多段階幻覚として現れる強いLMバイアスに弱いモデルにする。本稿では,音声入力における未来を先取りして,テキスト表現をより音響的に基礎づけるLookAheadを提案する。この手法は、ドメイン内およびドメイン外の評価セットにおいて、単語誤り率を5%-20%削減する。

関連論文リスト

VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
論文参考訳（メタデータ） (2024-06-12T04:09:44Z)
MFA: TDNN with Multi-scale Frequency-channel Attention for Text-independent Speaker Verification with Short Utterances [94.70787497137854]
本稿では、畳み込みニューラルネットワークとTDNNからなる新しいデュアルパス設計により、話者を異なるスケールで特徴付けるマルチスケール周波数チャネルアテンション(MFA)を提案する。我々は,提案したMFAをVoxCelebデータベース上で評価し,提案したMFAを用いたフレームワークが,パラメータや複雑性を低減しつつ,最先端のパフォーマンスを実現することを確認した。
論文参考訳（メタデータ） (2022-02-03T14:57:05Z)
Improving the fusion of acoustic and text representations in RNN-T [35.43599666228086]
我々は、より表現力のある表現を生成するために、ゲーティング、バイリニアプーリング、およびそれらを結合ネットワークで組み合わせることを提案する。提案手法の併用により, 単語誤り率を4%-5%削減できることを示す。
論文参考訳（メタデータ） (2022-01-25T11:20:50Z)
Deliberation of Streaming RNN-Transducer by Non-autoregressive Decoding [21.978994865937786]
この方法は、テキスト機能とオーディオ機能の両方に対応するトランスフォーマーデコーダを各ステップで共有する、いくつかの改善ステップを実行する。本研究では,ストリーミングRNN-Tモデルの仮説アライメントを条件に,第1パスRNN-Tよりも精度の高い認識結果が得られることを示す。
論文参考訳（メタデータ） (2021-12-01T01:34:28Z)
Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。エンドツーエンドのNAR音声認識システムを提案する。提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
論文参考訳（メタデータ） (2021-07-20T11:42:26Z)
On Addressing Practical Challenges for RNN-Transduce [72.72132048437751]
オーディオデータを収集することなく、よく訓練されたRNN-Tモデルを新しいドメインに適応します。復号時に計算された複数の特徴を利用して単語レベルの信頼度を求める。提案手法では,平均で50ms以下の単語のタイミング差が得られる。
論文参考訳（メタデータ） (2021-04-27T23:31:43Z)
End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
論文参考訳（メタデータ） (2021-04-27T17:12:30Z)
DNN-Based Semantic Model for Rescoring N-best Speech Recognition List [8.934497552812012]
自動音声認識(ASR)システムの単語誤り率(WER)は、トレーニングと騒音等によるテスト条件とのミスマッチが発生した場合に増加する。本研究の目的は、歪み音の特徴を補うための長期意味関係をモデル化することで、ASRを改善することである。
論文参考訳（メタデータ） (2020-11-02T13:50:59Z)
Transformer Transducer: A Streamable Speech Recognition Model with Transformer Encoders and RNN-T Loss [14.755108017449295]
本稿では,ストリーム音声認識システムで使用可能なTransformerエンコーダを用いたエンドツーエンド音声認識モデルを提案する。自己アテンションに基づくトランスフォーマー計算ブロックは、オーディオシーケンスとラベルシーケンスの両方を独立に符号化するために使用される。 We present results on the LibriSpeech dataset shows that limiting the left context for self-attention makes decodinglytractable for streaming。
論文参考訳（メタデータ） (2020-02-07T00:04:04Z)
Streaming automatic speech recognition with the transformer model [59.58318952000571]
本稿では,ストリーミングASRのためのトランスフォーマーに基づくエンドツーエンドASRシステムを提案する。本研究では,エンコーダに時間制限付き自己アテンションを適用し,エンコーダ・デコーダのアテンション機構に注意を喚起する。提案したストリーミングトランスアーキテクチャは,LibriSpeechの「クリーン」および「他の」テストデータに対して,2.8%と7.2%のWERを実現する。
論文参考訳（メタデータ） (2020-01-08T18:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。