論文の概要: WIND: Accelerated RNN-T Decoding with Windowed Inference for Non-blank Detection

• arxiv url: http://arxiv.org/abs/2505.13765v1
• Date: Mon, 19 May 2025 22:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.561917
• Title: WIND: Accelerated RNN-T Decoding with Windowed Inference for Non-blank Detection
• Title（参考訳）: WIND:非ブランク検出のためのウィンドウ推論付き高速化RNN-Tデコーディング
• Authors: Hainan Xu, Vladimir Bataev, Lilit Grigoryan, Boris Ginsburg,
• Abstract要約: WIND(Windowed Inference for Non-Blank Detection)は、モデル精度を損なうことなく、RNN-T推論を大幅に高速化する新しい手法である。 我々は,ラベルループ技術を用いたグレディ復号化,バッチ化グレディ復号化のためのWINDを実装し,新しいビーム探索復号法を提案する。
• 参考スコア（独自算出の注目度）: 17.950722198543897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Windowed Inference for Non-blank Detection (WIND), a novel strategy that significantly accelerates RNN-T inference without compromising model accuracy. During model inference, instead of processing frames sequentially, WIND processes multiple frames simultaneously within a window in parallel, allowing the model to quickly locate non-blank predictions during decoding, resulting in significant speed-ups. We implement WIND for greedy decoding, batched greedy decoding with label-looping techniques, and also propose a novel beam-search decoding method. Experiments on multiple datasets with different conditions show that our method, when operating in greedy modes, speeds up as much as 2.4X compared to the baseline sequential approach while maintaining identical Word Error Rate (WER) performance. Our beam-search algorithm achieves slightly better accuracy than alternative methods, with significantly improved speed. We will open-source our WIND implementation.
• Abstract（参考訳）: モデル精度を損なうことなく,RNN-T推論を著しく高速化する新しい手法であるWIND(Windowed Inference for Non-Blank Detection)を提案する。 モデル推論では、フレームを逐次処理する代わりに、WINDは複数のフレームを並列にウィンドウ内で同時に処理し、デコード中の非ブランク予測を素早く検出し、大幅なスピードアップをもたらす。 我々は,ラベルループ技術を用いたグレディ復号化,バッチ化グレディ復号化のためのWINDを実装し,新しいビーム探索復号法を提案する。 条件が異なる複数のデータセットで実験した結果,この手法では,単語誤り率(WER)を同一に保ちながら,ベースラインシーケンシャルアプローチに比べて2.4倍の高速化を実現していることがわかった。 ビームサーチアルゴリズムは、代替手法よりも若干精度が向上し、速度が大幅に向上した。 WINDの実装をオープンソースにします。

関連論文リスト

• An Efficient Diffusion-based Non-Autoregressive Solver for Traveling Salesman Problem [21.948190231334088]
  本稿では,トラベリングセールスマン問題に適した効率の良い反復型拡散モデルであるDEITSPを提案する。 本稿では,制御された離散雑音付加プロセスと自己整合性強化を統合した一段階拡散モデルを提案する。 また、ノードとエッジのモダリティから特徴の抽出と融合を促進するために、デュアルモダリティグラフ変換器を設計する。
  論文  参考訳（メタデータ） (2025-01-23T15:47:04Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)
• A Token-Wise Beam Search Algorithm for RNN-T [3.682821163882332]
  本稿では,複数の時間ステップにまたがる共同ネットワークコールをバッチ化する復号ビーム探索アルゴリズムを提案する。 さらに、セグメント上での放射確率の集約は、最も可能性の高いモデル出力を見つけるためのより良い近似と見なすことができる。
  論文  参考訳（メタデータ） (2023-02-28T07:20:49Z)
• Rapid Person Re-Identification via Sub-space Consistency Regularization [51.76876061721556]
  Person Re-Identification (ReID) は、歩行者を分離したカメラで識別する。 実値特徴記述子を用いた既存のReID法は精度が高いが、ユークリッド距離計算が遅いため効率が低い。 本稿では,ReID 処理を 0.25 倍高速化するサブスペース一貫性規則化 (SCR) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-13T02:44:05Z)
• SwiftLane: Towards Fast and Efficient Lane Detection [0.8972186395640678]
  我々は、軽量でエンドツーエンドのディープラーニングベースのフレームワークであるSwiftLaneと、高速かつ効率的なレーン検出のための行単位の分類定式化を提案する。 提案手法は1秒あたり411フレームの推論速度を実現し,CULaneベンチマークデータセットの精度で比較結果を実現した。
  論文  参考訳（メタデータ） (2021-10-22T13:35:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。