論文の概要: Back from the future: bidirectional CTC decoding using future
information in speech recognition
- arxiv url: http://arxiv.org/abs/2110.03326v1
- Date: Thu, 7 Oct 2021 10:42:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-09 02:07:45.798020
- Title: Back from the future: bidirectional CTC decoding using future
information in speech recognition
- Title（参考訳）: back from the future: 音声認識における未来情報を用いた双方向ctc復号
- Authors: Namkyu Jung, Geonmin Kim, Han-Gyu Kim
- Abstract要約: 本稿では,双方向のニューラル言語モデルを用いて,コネクティニスト時空間(CTC)モデルの出力を復号する簡易かつ効果的な手法を提案する。
両方向のビームサーチに基づく提案手法は,CTCグレディ復号出力を利用して,ノイズのある将来の情報を表す。
- 参考スコア（独自算出の注目度）: 3.386091225912298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a simple but effective method to decode the output
of Connectionist Temporal Classifier (CTC) model using a bi-directional neural
language model. The bidirectional language model uses the future as well as the
past information in order to predict the next output in the sequence. The
proposed method based on bi-directional beam search takes advantage of the CTC
greedy decoding output to represent the noisy future information. Experiments
on the Librispeechdataset demonstrate the superiority of our proposed method
compared to baselines using unidirectional decoding. In particular, the boost
inaccuracy is most apparent at the start of a sequence which is the most
erroneous part for existing systems based on unidirectional decoding.
- Abstract（参考訳）: 本稿では,双方向ニューラル言語モデルを用いて,コネクショニスト時間分類器(CTC)モデルの出力を復号化するための簡易かつ効果的な手法を提案する。
双方向言語モデルは、シーケンス内の次の出力を予測するために、未来と過去の情報を使用する。
双方向ビーム探索に基づく提案手法は,ctc greedy decoding output を活用し,雑音の多い未来情報を表現する。
Librispeechdatasetの実験は、一方向デコーディングを用いたベースラインと比較して提案手法の優位性を示した。
特に、一方向デコーディングに基づく既存システムにおいて最も誤った部分であるシーケンスの開始時に、ブースト不正確性が最も顕著である。
関連論文リスト
- Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。
加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
論文 参考訳（メタデータ） (2024-04-18T09:17:06Z) - UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。
第1パスデコーダのサブワード予測によりモデル性能を向上させる。
提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
論文 参考訳（メタデータ） (2022-12-15T18:58:28Z) - Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo
Languages [58.43299730989809]
本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。
我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。
このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
論文 参考訳（メタデータ） (2022-05-02T17:59:02Z) - Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired
Speech Data [145.95460945321253]
本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。
提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
論文 参考訳（メタデータ） (2022-03-31T15:33:56Z) - Look Backward and Forward: Self-Knowledge Distillation with
Bidirectional Decoder for Neural Machine Translation [9.279287354043289]
ニューラルネットワーク翻訳のための双方向デコーダを用いた自己知識蒸留(SBD-NMT)
我々は、フォワードデコーダに効果的な正規化手法として機能する後方デコーダをデプロイする。
実験により,本手法は複数の機械翻訳データセットの強力なトランスフォーマーベースラインよりもはるかに優れていることがわかった。
論文 参考訳（メタデータ） (2022-03-10T09:21:28Z) - Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。
我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。
質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文 参考訳（メタデータ） (2020-10-07T21:02:41Z) - Improved Code Summarization via a Graph Neural Network [96.03715569092523]
一般に、ソースコード要約技術はソースコードを入力として使用し、自然言語記述を出力する。
これらの要約を生成するために、ASTのデフォルト構造によくマッチするグラフベースのニューラルアーキテクチャを使用するアプローチを提案する。
論文 参考訳（メタデータ） (2020-04-06T17:36:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。