論文の概要: A low latency attention module for streaming self-supervised speech representation learning

• arxiv url: http://arxiv.org/abs/2302.13451v2
• Date: Mon, 18 Mar 2024 01:09:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 06:38:27.385133
• Title: A low latency attention module for streaming self-supervised speech representation learning
• Title（参考訳）: 自己教師付き音声表現学習のための低レイテンシアテンションモジュール
• Authors: Jianbo Ma, Siqi Pan, Deepak Chandran, Andrea Fanelli, Richard Cartwright,
• Abstract要約: SSRL(Self-latency Speech Expression Learning)は、トランスフォーマーアーキテクチャにおける一般的なユースケースである。 本稿では,低演算およびメモリ要求のSSRLアーキテクチャのトレーニングを可能にするアテンションモジュールの実装について述べる。 私たちの実装では、推論のレイテンシも1.92秒から0.16秒に短縮しています。
• 参考スコア（独自算出の注目度）: 0.4288177321445912
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The transformer is a fundamental building block in deep learning, and the attention mechanism is the transformer's core component. Self-supervised speech representation learning (SSRL) represents a popular use-case for the transformer architecture. Due to transformers' acausal behavior, the use of transformers for SSRL has been predominantly focused on acausal applications. However, several media processing problems, such as speech processing, require real-time solutions. In this paper, we present an implementation of the attention module that enables training of SSRL architectures with low compute and memory requirements, while allowing real-time inference with low and fixed latency. The attention module proposed in this paper includes two components, streaming attention (SA) and low-latency streaming attention (LLSA). The SA represents our proposal for an efficient streaming SSRL implementation, while the LLSA solves the latency build-up problem of other streaming attention architectures, such as the masked acausal attention (MAA), guaranteeing a latency equal to one layer even when multiple layers are stacked. We present a comparative analysis between the vanilla attention, which we will refer here as acausal attention (AA), the SA, and the LLSA, by training a streaming SSRL with automatic speech recognition as downstream task. When training on librispeech-clean-100 and testing on librispeech-test-clean, our low-latency attention module has a word error rate (WER) of 5.84%, which represents a significant improvement over the MAA (WER = 13.82%). Our implementation also reduces the inference latency from 1.92 to 0.16 seconds. The proposed low-latency module preserves many of the benefits of conventional acausal transformers, but also enables latency characteristics that make it applicable to real-time streaming applications.
• Abstract（参考訳）: トランスはディープラーニングの基本的な構成要素であり、アテンションメカニズムはトランスのコアコンポーネントである。 自己教師付き音声表現学習(SSRL)は、トランスフォーマーアーキテクチャの一般的なユースケースである。 変圧器の因果挙動のため、SSRLにおける変圧器の使用は主に因果的応用に焦点が当てられている。 しかし、音声処理のようなメディア処理の問題にはリアルタイムの解決が必要である。 本稿では,SSRLアーキテクチャを低演算およびメモリ要求でトレーニングし,低レイテンシと固定レイテンシでリアルタイム推論を可能にするアテンションモジュールの実装について述べる。 本稿では,ストリーミングアテンション (SA) と低遅延ストリーミングアテンション (LLSA) の2つのコンポーネントについて述べる。 SAは効率的なストリーミングSSRL実装の提案であり,LLSAはマスマスキング・カソーサル・アテンション(MAA)などの他のストリーミングアテンションアーキテクチャの遅延構築問題を解決し,複数層を積み重ねた場合でもレイテンシが1層に等しいことを保証している。 本稿では,自動音声認識をダウンストリームタスクとするストリーミングSSRLをトレーニングすることにより,このバニラアテンション(AA),SA,LLSAの比較分析を行う。 librispeech-clean-100のトレーニングとlibrispeech-test-cleanのテストでは,低遅延注意モジュールの単語誤り率(WER)は5.84%であり,MAA(WER=13.82%)よりも大幅に向上した。 私たちの実装では、推論のレイテンシも1.92秒から0.16秒に短縮しています。 提案する低レイテンシモジュールは,従来のアコーザルトランスの利点の多くを保ちつつ,リアルタイムストリーミングアプリケーションに適用可能なレイテンシ特性も実現している。

関連論文リスト

• Semi-Autoregressive Streaming ASR With Label Context [70.76222767090638]
  本稿では,先行ブロックで出力されたラベルを付加コンテキストとして組み込んだストリーミング「半自己回帰型」ASRモデルを提案する。 実験の結果,既存のストリーミングNARモデルではTedlium2が19%,Librispeech-100が16%/8%,Switchboard(SWB)/Callhome(CH)テストセットが19%/8%であった。
  論文  参考訳（メタデータ） (2023-09-19T20:55:58Z)
• Short-Term Memory Convolutions [0.0]
  本稿では,STMC(Short-Term Memory Convolution)と呼ばれる,推論時間レイテンシとメモリ消費の最小化手法を提案する。 STMCベースのモデルのトレーニングは、畳み込みニューラルネットワーク(CNN)のみに基づくため、より速く、より安定している。 音声分離では, 出力品質に影響を与えることなく, 5倍の推論時間短縮と2倍の遅延低減を実現した。
  論文  参考訳（メタデータ） (2023-02-08T20:52:24Z)
• MAST: Multiscale Audio Spectrogram Transformers [53.06337011259031]
  音声分類のためのマルチスケール音声スペクトログラム変換器(MAST)について,マルチスケール特徴階層の概念をAST(Audio Spectrogram Transformer)に適用した。 実際に、MASTはLAPEベンチマークの8つの音声および非音声タスクで平均3.4%の精度でASTを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-02T23:34:12Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)
• WNARS: WFST based Non-autoregressive Streaming End-to-End Speech Recognition [59.975078145303605]
  本稿では,ハイブリッドCTC-attention AEDモデルと重み付き有限状態トランスデューサを用いた新しいフレームワークWNARSを提案する。 AISHELL-1タスクでは、640msの遅延で5.22%の文字エラー率を達成し、オンラインASRの最先端のパフォーマンスである私たちの知識を最大限に活用します。
  論文  参考訳（メタデータ） (2021-04-08T07:56:03Z)
• Dissecting User-Perceived Latency of On-Device E2E Speech Recognition [34.645194215436966]
  我々は,トークン放出遅延とエンドポイント動作に影響を与える要因がユーザ知覚遅延(upl)に大きく影響することを示す。 我々は,最近提案されたアライメント正規化を用いて,ASRとエンドポイントを併用する際のレイテンシと単語エラー率の最良のトレードオフを実現する。
  論文  参考訳（メタデータ） (2021-04-06T00:55:11Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)
• Conv-Transformer Transducer: Low Latency, Low Frame Rate, Streamable End-to-End Speech Recognition [8.046120977786702]
  Transformerは自動音声認識(ASR)における最先端のエンドツーエンドモデルと競合する性能を達成した エンコーダ-デコーダアーキテクチャを備えたオリジナルのTransformerは、オフラインのASRにのみ適合する。 Conv-Transformer Transducerという名前のこのアーキテクチャは、外部言語モデルなしでLibriSpeechデータセット(3.6% WER on test-clean)の競合性能を実現する。
  論文  参考訳（メタデータ） (2020-08-13T08:20:02Z)
• Weak-Attention Suppression For Transformer Based Speech Recognition [33.30436927415777]
  Weak-Attention Suppression (WAS) を提案する。 We demonstrate that WAS leads to consistent Word Error Rate (WER) improve over strong transformer baselines。
  論文  参考訳（メタデータ） (2020-05-18T23:49:40Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。