論文の概要: TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty

• arxiv url: http://arxiv.org/abs/2211.00522v1
• Date: Tue, 1 Nov 2022 15:12:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 14:38:31.712176
• Title: TrimTail: Low-Latency Streaming ASR with Simple but Effective Spectrogram-Level Length Penalty
• Title（参考訳）: TrimTail: シンプルだが効果的なスペクトログラムレベルの刑罰付き低レイテンシストリーミングASR
• Authors: Xingchen Song, Di Wu, Zhiyong Wu, Binbin Zhang, Yuekai Zhang, Zhendong Peng, Wenpeng Li, Fuping Pan, Changbao Zhu
• Abstract要約: 本稿では,ストリーミングASRモデルのレイテンシを改善するために,TrimTailを提案する。 Aishell-1とLibrispeechで100$sim$200msの遅延低減を実現した。
• 参考スコア（独自算出の注目度）: 14.71509986713044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present TrimTail, a simple but effective emission regularization method to improve the latency of streaming ASR models. The core idea of TrimTail is to apply length penalty (i.e., by trimming trailing frames, see Fig. 1-(b)) directly on the spectrogram of input utterances, which does not require any alignment. We demonstrate that TrimTail is computationally cheap and can be applied online and optimized with any training loss or any model architecture on any dataset without any extra effort by applying it on various end-to-end streaming ASR networks either trained with CTC loss [1] or Transducer loss [2]. We achieve 100 $\sim$ 200ms latency reduction with equal or even better accuracy on both Aishell-1 and Librispeech. Moreover, by using TrimTail, we can achieve a 400ms algorithmic improvement of User Sensitive Delay (USD) with an accuracy loss of less than 0.2.
• Abstract（参考訳）: 本稿では,ストリーミングasrモデルのレイテンシを改善するための簡易かつ効果的なエミッション正規化手法であるtrimtailを提案する。 TrimTailの中核となる考え方は、長さのペナルティ(例えば、後続のフレームをトリミングすることで、図1-(b)を参照)を入力発話のスペクトルに直接適用することであり、アライメントは不要である。 我々は,ctc損失[1]あるいはトランスデューサ損失[2]で訓練された各種エンドツーエンドストリーミングasrネットワークに適用することにより,任意のデータセット上のトレーニング損失やモデルアーキテクチャを余分な労力なしで,オンラインに適用し,最適化できることを実証する。 Aishell-1とLibrispeechで100$\sim$200msのレイテンシ低減を実現しています。 さらに,TrimTailを用いることで,精度が0.2未満のユーザ感度遅延(USD)を400msのアルゴリズムで改善することができる。

関連論文リスト

• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition [38.28868751443619]
  本稿では,シーケンストランスデューサモデルの遅延を明示的にモデル化し,遅延を低減するための新しいトレーニング手法を提案する。 実験結果から,提案した最小レイテンシトレーニングにより,WER劣化率0.7%において,因果コンバータ-Tのレイテンシを220msから27msに短縮できることがわかった。
  論文  参考訳（メタデータ） (2022-11-04T09:19:59Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Structured Directional Pruning via Perturbation Orthogonal Projection [13.704348351073147]
  より合理的なアプローチは、NISTによって発見された平坦な最小の谷に沿ってスパース最小化器を見つけることである。 平坦な最小の谷に摂動を投射する構造的指向性プルーニングを提案する。 実験の結果,VGG16では93.97%,CIFAR-10タスクでは再トレーニングを行なわず,最先端のプルーニング精度が得られた。
  論文  参考訳（メタデータ） (2021-07-12T11:35:47Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• FastEmit: Low-latency Streaming ASR with Sequence-level Emission Regularization [78.46088089185156]
  ストリーム自動音声認識(ASR)は、仮説化された単語を可能な限り迅速かつ正確に出力することを目的としている。 既存のアプローチでは、シーケンストランスデューサモデルにおいて、トーケン単位またはフレーム単位の確率予測を演算することで、発光遅延をペナルティ化する。 本稿では,訓練用トランスデューサモデルにおいて,シーケンス毎の確率に遅延正規化を直接適用する,FastEmitというシーケンスレベルのエミッション正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-10-21T17:05:01Z)
• SADet: Learning An Efficient and Accurate Pedestrian Detector [68.66857832440897]
  本稿では,一段検出器の検出パイプラインに対する一連の最適化手法を提案する。 効率的な歩行者検出のための単発アンカーベース検出器(SADet)を形成する。 構造的には単純だが、VGA解像度の画像に対して最先端の結果と20ドルFPSのリアルタイム速度を示す。
  論文  参考訳（メタデータ） (2020-07-26T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。