論文の概要: 4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders

• arxiv url: http://arxiv.org/abs/2212.10818v2
• Date: Mon, 29 May 2023 23:16:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 02:09:10.376320
• Title: 4D ASR: Joint modeling of CTC, Attention, Transducer, and Mask-Predict decoders
• Title（参考訳）: 4D ASR: CTC, Attention, Transducer, Mask-Predict Decoderの合同モデリング
• Authors: Yui Sudo, Muhammad Shakeel, Brian Yan, Jiatong Shi, Shinji Watanabe
• Abstract要約: 本稿では,CTC,アテンション,RNN-T,マスク予測の4デコーダ共同モデリング(4D)を提案する。 4つのデコーダは、アプリケーションシナリオに応じて簡単に切り替えられるように、共同でトレーニングされている。 実験の結果,提案したモデルが一貫してWERを減少させることがわかった。
• 参考スコア（独自算出の注目度）: 29.799797974513552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The network architecture of end-to-end (E2E) automatic speech recognition (ASR) can be classified into several models, including connectionist temporal classification (CTC), recurrent neural network transducer (RNN-T), attention mechanism, and non-autoregressive mask-predict models. Since each of these network architectures has pros and cons, a typical use case is to switch these separate models depending on the application requirement, resulting in the increased overhead of maintaining all models. Several methods for integrating two of these complementary models to mitigate the overhead issue have been proposed; however, if we integrate more models, we will further benefit from these complementary models and realize broader applications with a single system. This paper proposes four-decoder joint modeling (4D) of CTC, attention, RNN-T, and mask-predict, which has the following three advantages: 1) The four decoders are jointly trained so that they can be easily switched depending on the application scenarios. 2) Joint training may bring model regularization and improve the model robustness thanks to their complementary properties. 3) Novel one-pass joint decoding methods using CTC, attention, and RNN-T further improves the performance. The experimental results showed that the proposed model consistently reduced the WER.
• Abstract（参考訳）: エンドツーエンド(E2E)自動音声認識(ASR)のネットワークアーキテクチャは、コネクショニスト時間分類(CTC)、リカレントニューラルネットワークトランスデューサ(RNN-T)、注意機構、非自己回帰マスク予測モデルなど、いくつかのモデルに分類される。 これらのネットワークアーキテクチャのそれぞれに長所と短所があるため、典型的なユースケースはアプリケーション要件に応じてこれらの別々のモデルを切り替えることであり、結果としてすべてのモデルを維持するオーバーヘッドが増加する。 オーバヘッド問題を解決するために2つの補完モデルを統合するいくつかの方法が提案されているが、より多くのモデルを統合すると、これらの補完モデルからさらに恩恵を受け、単一のシステムでより広範なアプリケーションを実現する。 本稿では,CTC,アテンション,RNN-T,マスク予測の4デコーダ共同モデリング(4D)を提案する。 1) 4つのデコーダは、アプリケーションシナリオに応じて容易に切り替えられるように、共同でトレーニングされる。 2) 連立訓練はモデル正規化をもたらし, 相補的な特性によりモデルロバスト性を向上させる。 3) CTC, attention, RNN-Tを用いた新しいワンパス共同復号法により, 性能が向上する。 実験の結果,提案したモデルが一貫してWERを減少させることがわかった。

関連論文リスト

• 4D ASR: Joint Beam Search Integrating CTC, Attention, Transducer, and Mask Predict Decoders [53.297697898510194]
  我々は、4つのデコーダが同一のエンコーダを共有する共同モデリング手法を提案し、これを4Dモデリングと呼ぶ。 4Dモデルを効率的に訓練するために,マルチタスク学習を安定化させる2段階のトレーニング戦略を導入する。 さらに,3つのデコーダを組み合わせることで,新しい1パスビーム探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-05T05:18:20Z)
• DiTMoS: Delving into Diverse Tiny-Model Selection on Microcontrollers [34.282971510732736]
  我々は、セレクタ分類器アーキテクチャを備えた新しいDNNトレーニングおよび推論フレームワークであるDiTMoSを紹介する。 弱いモデルの合成は高い多様性を示すことができ、それらの結合は精度の上限を大幅に高めることができる。 我々は,Nucleo STM32F767ZIボード上にDiTMoSをデプロイし,人間の活動認識,キーワードスポッティング,感情認識のための時系列データセットに基づいて評価する。
  論文  参考訳（メタデータ） (2024-03-14T02:11:38Z)
• Systematic Architectural Design of Scale Transformed Attention Condenser DNNs via Multi-Scale Class Representational Response Similarity Analysis [93.0013343535411]
  マルチスケールクラス表現応答類似性分析(ClassRepSim)と呼ばれる新しいタイプの分析法を提案する。 ResNetスタイルのアーキテクチャにSTACモジュールを追加すると、最大1.6%の精度が向上することを示す。 ClassRepSim分析の結果は、STACモジュールの効果的なパラメータ化を選択するために利用することができ、競争性能が向上する。
  論文  参考訳（メタデータ） (2023-06-16T18:29:26Z)
• 3D Convolutional with Attention for Action Recognition [6.238518976312625]
  現在の行動認識法は、計算コストの高いモデルを用いて行動の時間的依存を学習する。 本稿では,3次元畳み込み層,完全連結層,注目層からなる依存関係を学習するためのディープニューラルネットワークアーキテクチャを提案する。 提案手法はまず3D-CNNを用いて行動の空間的特徴と時間的特徴を学習し,その後,注意時間機構によってモデルが本質的な特徴に注意を向けることを支援する。
  論文  参考訳（メタデータ） (2022-06-05T15:12:57Z)
• Squeezeformer: An Efficient Transformer for Automatic Speech Recognition [99.349598600887]
  Conformerは、そのハイブリッドアテンション・コンボリューションアーキテクチャに基づいて、様々な下流音声タスクの事実上のバックボーンモデルである。 Squeezeformerモデルを提案する。これは、同じトレーニングスキームの下で、最先端のASRモデルよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-06-02T06:06:29Z)
• Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
  エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。 異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。 深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
  論文  参考訳（メタデータ） (2021-06-24T12:23:05Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Single-Layer Graph Convolutional Networks For Recommendation [17.3621098912528]
  Graph Convolutional Networks (GCNs) は、推奨タスクで最先端のパフォーマンスを達成した。 既存のGCNモデルでは、関連するすべてのノード間で再帰アグリゲーションを行う傾向があり、計算上の重荷が発生する。 DA類似性によってフィルタリングされた隣人からの情報を集約し,ノード表現を生成するための単一のGCN層を提案する。
  論文  参考訳（メタデータ） (2020-06-07T14:38:47Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。