論文の概要: Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting

• arxiv url: http://arxiv.org/abs/2510.00982v1
• Date: Wed, 01 Oct 2025 14:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 14:32:17.213924
• Title: Spiralformer: Low Latency Encoder for Streaming Speech Recognition with Circular Layer Skipping and Early Exiting
• Title（参考訳）: Spiralformer: 円形層スキッピングと早期消音による音声認識のための低レイテンシエンコーダ
• Authors: Emiru Tsunoo, Hayato Futami, Yosuke Kashiwagi, Siddhant Arora, Shinji Watanabe,
• Abstract要約: Transformerベースのエンコーダはブロック処理に広く使われている。 本稿では,ブロック処理に適した新しいエンコーダSpralformerを提案する。 実験の結果,Librispeechにおける平均トークン放出遅延は21.6%減少した。
• 参考スコア（独自算出の注目度）: 70.75913449565203
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For streaming speech recognition, a Transformer-based encoder has been widely used with block processing. Although many studies addressed improving emission latency of transducers, little work has been explored for improving encoding latency of the block processing. We seek to reduce latency by frequently emitting a chunk with a small shift rather than scarce large-chunk emissions, resulting in higher computational costs. To efficiently compute with the small chunk shift, we propose a new encoder, Spiralformer, tailored for block processing by combining layer dropping and early exiting. We skip layer computation in a cyclic manner and shift the computed layer in each block spirally, which completes computation for all the layers over the block processing. Experimentally, we observed that our method achieved 21.6% reduction in the averaged token emission delay in Librispeech, and 7.0% in CSJ, compared with the baseline with similar computational cost and word error rates.
• Abstract（参考訳）: ストリーミング音声認識では、Transformerベースのエンコーダがブロック処理に広く使われている。 トランスデューサの発光遅延を改善するために多くの研究がなされているが、ブロック処理の符号化遅延を改善するための研究はほとんど行われていない。 我々は、大きなチャンクの放出が少ないというよりも、小さなシフトでチャンクを頻繁に放出することでレイテンシを低減し、計算コストを高くする。 チャンクシフトを小さくして効率的に計算するために,ブロック処理に適した新しいエンコーダSpralformerを提案する。 循環的にレイヤ計算をスキップし,各ブロックの計算層をスパイラル的にシフトし,ブロック処理上のすべてのレイヤの計算を完了させる。 実験により, 平均トークン放出遅延は21.6%減少し, CSJは7.0%減少し, 計算コストと単語誤り率に類似したベースラインが得られた。

関連論文リスト

• Reducing Storage of Pretrained Neural Networks by Rate-Constrained Quantization and Entropy Coding [56.066799081747845]
  成長を続けるニューラルネットワークのサイズは、リソースに制約のあるデバイスに深刻な課題をもたらす。 本稿では,レートアウェア量子化とエントロピー符号化を組み合わせた学習後圧縮フレームワークを提案する。 この方法では非常に高速な復号化が可能であり、任意の量子化グリッドと互換性がある。
  論文  参考訳（メタデータ） (2025-05-24T15:52:49Z)
• Fast correlated decoding of transversal logical algorithms [67.01652927671279]
  大規模計算には量子エラー補正(QEC)が必要であるが、かなりのリソースオーバーヘッドが発生する。 近年の進歩により、論理ゲートからなるアルゴリズムにおいて論理キュービットを共同で復号化することにより、症候群抽出ラウンドの数を削減できることが示されている。 ここでは、回路を介して伝播する関連する論理演算子製品を直接復号することで、回路の復号化の問題を修正する。
  論文  参考訳（メタデータ） (2025-05-19T18:00:00Z)
• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)
• Parallel window decoding enables scalable fault tolerant quantum computation [2.624902795082451]
  本稿では,デコード問題を並列化し,ほぼ任意のシンドローム処理速度を実現する手法を提案する。 並列化では、古典的なフィードバックの決定を遅らせる必要があり、論理クロックの速度が遅くなる。 既知のオート・テレポーテーション・ガジェットを使用すれば、キュービットオーバーヘッドの増加と引き換えに、スローダウンを完全に排除することができる。
  論文  参考訳（メタデータ） (2022-09-18T12:37:57Z)
• Streaming parallel transducer beam search with fast-slow cascaded encoders [23.416682253435837]
  RNNトランスデューサのストリーミングおよび非ストリーミングASRは、因果エンコーダと非因果エンコーダをカスケードすることで統一することができる。 高速スローエンコーダから復号するトランスデューサのための並列時間同期ビーム探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。