論文の概要: Improving CTC-based ASR Models with Gated Interlayer Collaboration
- arxiv url: http://arxiv.org/abs/2205.12462v1
- Date: Wed, 25 May 2022 03:21:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 15:06:25.368180
- Title: Improving CTC-based ASR Models with Gated Interlayer Collaboration
- Title(参考訳): Gated Interlayer CollaborationによるCTCに基づくASRモデルの改良
- Authors: Yuting Yang, Yuke Li, Binbin Du
- Abstract要約: 本稿では,モデルにコンテキスト情報を導入するGated Interlayer Collaboration機構を提案する。
我々は,中間層の確率分布がソフトラベル配列として自然に機能するモデルの層間出力によって計算された中間CTC損失でモデルを訓練する。
- 参考スコア(独自算出の注目度): 9.930655347717932
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For Automatic Speech Recognition (ASR), the CTC-based methods have become a
dominant paradigm due to its simple architecture and efficient
non-autoregressive inference manner. However, these methods without external
language models usually lack the capacity of modeling the conditional
dependencies and the textual interaction. In this work, we present a Gated
Interlayer Collaboration (GIC) mechanism which introduces the contextual
information into the models and relaxes the conditional independence assumption
of the CTC-based models. Specifically, we train the model with intermediate CTC
losses calculated by the interlayer outputs of the model, in which the
probability distributions of the intermediate layers naturally serve as soft
label sequences. The GIC block consists of an embedding layer to obtain the
textual embedding of the soft label at each position, and a gate unit to fuse
the textual embedding and the acoustic features. Experiments on AISHELL-1 and
AIDATATANG benchmarks show that the proposed method outperforms the recently
published CTC-based ASR models. Specifically, our method achieves CER of
4.0%/4.4% on AISHELL-1 dev/test sets and CER of 3.8%/4.4% on AIDATATANG
dev/test sets using CTC greedy search decoding without external language
models.
- Abstract(参考訳): 自動音声認識 (asr) では,ctcに基づく手法が,単純なアーキテクチャと効率的な非回帰推論手法により主流となっている。
しかしながら、外部言語モデルを持たないこれらの手法は、条件付き依存関係とテキストの相互作用をモデル化する能力に欠ける。
本稿では,ctcに基づくモデルの条件付き独立性仮定を緩和し,文脈情報をモデルに導入するゲート型層間協調(gic)機構を提案する。
具体的には、中間層の確率分布がソフトラベル配列として自然に機能するモデルの層間出力によって計算された中間CTC損失でモデルを訓練する。
GICブロックは、各位置におけるソフトラベルのテキスト埋め込みを得る埋め込み層と、テキスト埋め込みと音響特徴とを融合させるゲートユニットとから構成される。
AISHELL-1 と AIDATATANG のベンチマーク実験により,提案手法が最近発表された CTC ベースの ASR モデルより優れていることが示された。
具体的には,aishell-1開発/テストセットで4.0%/4.4%,外部言語モデル無しでctc greedy searchデコードを用いてaidatatang開発/テストセットで3.8%/4.4%のcerを実現する。
関連論文リスト
- Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。
LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。
LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
論文 参考訳(メタデータ) (2024-03-11T05:35:38Z) - FLIP: Towards Fine-grained Alignment between ID-based Models and
Pretrained Language Models for CTR Prediction [51.64257638308695]
本稿では,クリックスルー率(CTR)予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
具体的には、1つのモダリティ(トークンや特徴)のマスキングされたデータは、他のモダリティの助けを借りて回復し、特徴レベルの相互作用とアライメントを確立する必要がある。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - CTC-based Non-autoregressive Speech Translation [51.37920141751813]
非自己回帰音声翻訳における接続性時間分類の可能性について検討する。
我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。
MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
論文 参考訳(メタデータ) (2023-05-27T03:54:09Z) - Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR
with Internal Language Model Estimation [14.840612036671734]
自己回帰モデルに対するこのバイアスを軽減するために、内部言語モデル推定(ILME)が提案されている。
CTCに基づくASRモデルのための新しいILME手法を提案する。
本手法は、内部LMの擬似ログ類似度を推定するために、音声タイムステップを反復的にマスクする。
論文 参考訳(メタデータ) (2023-05-05T20:35:42Z) - InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss [43.39035144463951]
Momentum PL (MPL) は、ラベルのないデータに基づいてコネクショニスト時間分類 (CTC) に基づくモデルを訓練する。
CTCは、単純かつ高速な推論アルゴリズムと崩壊ラベルの生成に対する堅牢性のため、MPLやPLベースの半教師付きASRによく適している。
CTCに基づくモデリングの最近の進歩に触発されて、中間損失を導入し、MPLを強化することを提案する。
論文 参考訳(メタデータ) (2022-11-02T00:18:25Z) - Model-Agnostic Few-Shot Open-Set Recognition [36.97433312193586]
我々はFew-Shot Open-Set Recognition (FSOSR) 問題に取り組む。
既存のモデルにプラグイン可能なモデルに依存しない推論手法の開発に注力する。
オープン・セット・トランスダクティブ・インフォメーション・最大化手法OSTIMを提案する。
論文 参考訳(メタデータ) (2022-06-18T16:27:59Z) - Improving CTC-based speech recognition via knowledge transferring from
pre-trained language models [30.599901925058873]
CTCに基づくモデルを改善するために,2つの知識伝達手法を提案する。
最初の方法は表現学習に基づいており、CTCベースのモデルはBERTが生成した表現を補助的学習ターゲットとして利用する。
第2の方法は、テキストモデリングのためのGPT2とハイブリッドCTC/アテンションアーキテクチャを組み合わせた共同分類学習に基づいている。
論文 参考訳(メタデータ) (2022-02-22T11:30:55Z) - Layer Pruning on Demand with Intermediate CTC [50.509073206630994]
我々はコネクショニスト時間分類(CTC)に基づくASRの訓練と刈り取り方法を提案する。
本稿では,Transformer-CTCモデルをオンデマンドで様々な深さでプルーニングできることを示し,GPU上でのリアルタイム係数を0.005から0.002に改善した。
論文 参考訳(メタデータ) (2021-06-17T02:40:18Z) - Relaxing the Conditional Independence Assumption of CTC-based ASR by
Conditioning on Intermediate Predictions [14.376418789524783]
我々は,最終層におけるCTC損失に加えて,中間層におけるCTC損失を補助するCTCベースのASRモデルを訓練する。
提案手法は実装が容易で,単純なモデルアーキテクチャと高速復号化速度という,CTCベースのASRの利点を保っている。
論文 参考訳(メタデータ) (2021-04-06T18:00:03Z) - Intermediate Loss Regularization for CTC-based Speech Recognition [58.33721897180646]
本稿では,コネクショニスト時間分類(CTC)の目的に基づいて,自動音声認識(ASR)のための簡易かつ効率的な補助的損失関数を提案する。
提案手法は,WSJコーパスの単語誤り率(WER)9.9%,AISHELL-1コーパスの文字誤り率(CER)5.2%である。
論文 参考訳(メタデータ) (2021-02-05T15:01:03Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。