論文の概要: Fast and parallel decoding for transducer

• arxiv url: http://arxiv.org/abs/2211.00484v1
• Date: Mon, 31 Oct 2022 07:46:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 13:35:42.981081
• Title: Fast and parallel decoding for transducer
• Title（参考訳）: トランスデューサの高速・並列復号化
• Authors: Wei Kang, Liyong Guo, Fangjun Kuang, Long Lin, Mingshuang Luo, Zengwei Yao, Xiaoyu Yang, Piotr \.Zelasko, Daniel Povey
• Abstract要約: 本研究では,トランスデューサ損失の制約付きバージョンを導入し,シーケンス間のモノトニックアライメントを厳密に学習する。 また、時間毎に出力できるシンボルの数を制限することで、標準の欲求探索とビーム探索アルゴリズムを改善した。
• 参考スコア（独自算出の注目度）: 25.510837666148024
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The transducer architecture is becoming increasingly popular in the field of speech recognition, because it is naturally streaming as well as high in accuracy. One of the drawbacks of transducer is that it is difficult to decode in a fast and parallel way due to an unconstrained number of symbols that can be emitted per time step. In this work, we introduce a constrained version of transducer loss to learn strictly monotonic alignments between the sequences; we also improve the standard greedy search and beam search algorithms by limiting the number of symbols that can be emitted per time step in transducer decoding, making it more efficient to decode in parallel with batches. Furthermore, we propose an finite state automaton-based (FSA) parallel beam search algorithm that can run with graphs on GPU efficiently. The experiment results show that we achieve slight word error rate (WER) improvement as well as significant speedup in decoding. Our work is open-sourced and publicly available\footnote{https://github.com/k2-fsa/icefall}.
• Abstract（参考訳）: トランスデューサアーキテクチャは、自然にストリーミングされるだけでなく、精度も高いため、音声認識の分野ではますます人気が高まっている。 トランスデューサの欠点の1つは、時間ステップ毎に出力されるシンボルの制限されていない数のために、高速かつ並列にデコードすることが難しいことである。 本研究では,シーケンス間の厳密な一調的アライメントを学習するために,トランスデューサロスの制約付きバージョンを導入する。また,トランスデューサ復号において時間単位のシンボル数を制限し,バッチと並列に復号する効率を向上させることにより,標準のグリーディ探索およびビーム探索アルゴリズムを改善した。 さらに,GPU上のグラフで効率的に動作可能な有限状態オートマトン(FSA)並列ビーム探索アルゴリズムを提案する。 実験の結果,単語誤り率(WER)が向上し,復号処理の高速化が図られた。 私たちの仕事はオープンソースで公開されています。

関連論文リスト

• Localized statistics decoding: A parallel decoding algorithm for quantum low-density parity-check codes [3.001631679133604]
  任意の量子低密度パリティチェック符号に対する局所統計復号法を導入する。 我々のデコーダは専用ハードウェアの実装に適しており、実験からリアルタイムシンドロームをデコードするための有望な候補として位置づけられている。
  論文  参考訳（メタデータ） (2024-06-26T18:00:09Z)
• Label-Looping: Highly Efficient Decoding for Transducers [19.091932566833265]
  本稿では,トランスデューサに基づく音声認識モデルのための,高効率なグリーディ復号アルゴリズムを提案する。 実験の結果,ラベルループアルゴリズムはバッチサイズ32を使用する場合,従来のバッチデコードよりも最大2.0倍高速であることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T12:34:38Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Break the Sequential Dependency of LLM Inference Using Lookahead Decoding [27.87483106859749]
  Lookahead decodingは、大規模言語モデル(LLM)のための正確な並列デコーディングアルゴリズムである。 実装により,MT-benchでは1.8倍,コード補完タスクでは4倍まで高速に自動回帰復号を行うことができる。
  論文  参考訳（メタデータ） (2024-02-03T06:37:50Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
  自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する 並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
  論文  参考訳（メタデータ） (2023-05-17T17:57:34Z)
• Parallel window decoding enables scalable fault tolerant quantum computation [2.624902795082451]
  本稿では,デコード問題を並列化し,ほぼ任意のシンドローム処理速度を実現する手法を提案する。 並列化では、古典的なフィードバックの決定を遅らせる必要があり、論理クロックの速度が遅くなる。 既知のオート・テレポーテーション・ガジェットを使用すれば、キュービットオーバーヘッドの増加と引き換えに、スローダウンを完全に排除することができる。
  論文  参考訳（メタデータ） (2022-09-18T12:37:57Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates [59.678108707409606]
  我々は、接続性時間分類(CTC)出力に基づいて非自己回帰デコードによりHIを生成する高速MDモデルであるFast-MDを提案し、続いてASRデコーダを提案する。 高速MDは、GPUとCPUの「単純なMDモデル」よりも2倍、4倍高速なデコード速度を実現した。
  論文  参考訳（メタデータ） (2021-09-27T05:21:30Z)
• Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding [57.08875260900373]
  即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。 SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。 英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
  論文  参考訳（メタデータ） (2021-06-09T10:30:59Z)
• Fast Interleaved Bidirectional Sequence Generation [90.58793284654692]
  左右方向と左右方向を同時に生成するデコーダを提案する。 一方向デコードのための標準アーキテクチャを簡単に双方向デコーダに変換することができることを示す。 我々のインターリーブ双方向デコーダ (IBDecoder) は標準変換器のモデル単純性と訓練効率を保っている。
  論文  参考訳（メタデータ） (2020-10-27T17:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。