論文の概要: FlexCTC: GPU-powered CTC Beam Decoding with advanced Contextual Abilities
- arxiv url: http://arxiv.org/abs/2508.07315v1
- Date: Sun, 10 Aug 2025 12:15:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-12 21:23:28.807931
- Title: FlexCTC: GPU-powered CTC Beam Decoding with advanced Contextual Abilities
- Title（参考訳）: FlexCTC: 高度なコンテクスト能力を備えたGPUによるCTCビームデコーディング
- Authors: Lilit Grigoryan, Vladimir Bataev, Nikolay Karpov, Andrei Andrusenko, Vitaly Lavrukhin, Boris Ginsburg,
- Abstract要約: 本稿では、コネクショニスト時間分類(CTC)モデルのために設計された、完全ベースのビームデコーディングのためのオープンソースのFlexCTCツールキットを提案する。
PythonとPyTorchで完全に開発され、高速でユーザフレンドリで、従来のC++やWFSTベースのGPUに代わるものを提供する。
また、GPUによるN-gram言語モデルの融合やフレーズレベルの強化など、高度なコンテキスト化技術もサポートしている。
- 参考スコア（独自算出の注目度）: 16.660841429852333
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While beam search improves speech recognition quality over greedy decoding, standard implementations are slow, often sequential, and CPU-bound. To fully leverage modern hardware capabilities, we present a novel open-source FlexCTC toolkit for fully GPU-based beam decoding, designed for Connectionist Temporal Classification (CTC) models. Developed entirely in Python and PyTorch, it offers a fast, user-friendly, and extensible alternative to traditional C++, CUDA, or WFST-based decoders. The toolkit features a high-performance, fully batched GPU implementation with eliminated CPU-GPU synchronization and minimized kernel launch overhead via CUDA Graphs. It also supports advanced contextualization techniques, including GPU-powered N-gram language model fusion and phrase-level boosting. These features enable accurate and efficient decoding, making them suitable for both research and production use.
- Abstract（参考訳）: ビームサーチは、グレディデコーディングよりも音声認識品質を向上させるが、標準実装は遅く、しばしばシーケンシャルで、CPUバウンドである。
最新のハードウェア機能を完全に活用するために,Connectionist Temporal Classification (CTC)モデル用に設計された,フルGPUベースのビームデコーディングのための新しいオープンソースFlexCTCツールキットを提案する。
PythonとPyTorchで完全に開発されており、従来のC++、CUDA、WFSTベースのデコーダに代わる高速でユーザフレンドリで拡張可能な代替手段を提供する。
このツールキットは、CPU-GPU同期を排除し、CUDA Graphsを介してカーネルの起動オーバーヘッドを最小限に抑える、高性能で完全にバッチ化されたGPU実装を備えている。
また、GPUによるN-gram言語モデルの融合やフレーズレベルの強化など、高度なコンテキスト化技術もサポートしている。
これらの機能は正確で効率的な復号化を可能にし、研究と生産の両方に適している。
関連論文リスト
- FIDESlib: A Fully-Fledged Open-Source FHE Library for Efficient CKKS on GPUs [0.7146800600221728]
FIDESlibは、最初のオープンソースのサーバサイドCKKS GPUライブラリである。
ブートストラッピングでは、FIDESlibはAVX最適化OpenFHE実装よりも70倍のスピードアップを実現している。
論文 参考訳（メタデータ） (2025-07-07T08:51:14Z) - HPCTransCompile: An AI Compiler Generated Dataset for High-Performance CUDA Transpilation and LLM Preliminary Exploration [13.53425131505526]
ディープラーニングは、モデルパラメータと計算要求の指数関数的な増加を促した。
NVIDIA GPUとそのソフトウェアエコシステムは、並列コンピューティングの堅牢なサポートを提供する。
エコシステムは並列ソフトウェア分野において支配的な地位を確立してきた。
並列プログラミングのパラダイムとハードウェアの違いにより、コードを他のプラットフォームに翻訳することは大きな課題となる。
論文 参考訳（メタデータ） (2025-06-12T06:48:33Z) - NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding [54.88765757043535]
この研究は、統計的なn-gram言語モデルのデータ構造を再考し、GPU最適化推論の高速かつ並列な操作を可能にする。
我々のアプローチは NGPU-LM と呼ばれ、7% 未満の計算オーバーヘッドを持つ全ての主要な ASR モデルに対して、カスタマイズ可能なgreedy decoding を導入している。
提案手法は,ビーム探索による顕著な遅延を回避しつつ,greedy と beam search の精度ギャップの50%以上を排除できる。
論文 参考訳（メタデータ） (2025-05-28T20:43:10Z) - Minute-Long Videos with Dual Parallelisms [57.22737565366549]
Diffusion Transformer (DiT)ベースのビデオ拡散モデルは、大規模に高品質なビデオを生成するが、長いビデオの処理遅延とメモリコストは禁じられている。
我々はDualParalと呼ばれる新しい分散推論戦略を提案する。
1つのGPUでビデオ全体を生成する代わりに、時間フレームとモデルレイヤの両方をGPU間で並列化します。
論文 参考訳（メタデータ） (2025-05-27T11:55:22Z) - Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference [19.167604927651073]
LLM(Large Language Models)の自動回帰デコーディングは、ハードウェアの性能に大きなオーバーヘッドをもたらす。
トレーニング可能なパラメータを0.0002$%しか必要とせず,A100-40GBのGPUをたった16時間で効率的にトレーニングできる並列プロンプトデコーディングを提案する。
我々のアプローチでは、最大2.49$times$ スピードアップを示し、最小のメモリオーバーヘッドは0.0004$%である。
論文 参考訳（メタデータ） (2024-05-28T22:19:30Z) - GPU-Accelerated WFST Beam Search Decoder for CTC-based Speech
Recognition [1.2680687621338012]
Connectionist Temporal Classification (CTC)モデルは、自動音声認識(ASR)パイプラインにおいて最先端の精度を提供する。
我々は、現在のCTCモデルと互換性のある、GPU駆動の重み付き有限状態トランスデューサ(WFST)ビームデコーダを導入する。
パイプラインのスループットを向上し、レイテンシを低減し、ストリーミング推論をサポートし、オンザフライ合成による発話固有の単語ブースティングなどの高度な機能をサポートする。
論文 参考訳（メタデータ） (2023-11-08T19:57:10Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z) - Project CGX: Scalable Deep Learning on Commodity GPUs [17.116792714097738]
本稿では,ハードウェアオーバープロビジョンがアルゴリズムとシステム設計によって置き換えられるかを検討する。
本稿では,通信圧縮のための効率的なソフトウェアサポートを提供するCGXというフレームワークを提案する。
このフレームワークは、コンシューマグレードのマルチGPUシステムから通信ボトルネックを取り除くことができる。
論文 参考訳（メタデータ） (2021-11-16T17:00:42Z) - Efficient Video Semantic Segmentation with Labels Propagation and
Refinement [138.55845680523908]
本稿では,ハイブリッドGPU/CPUを用いた高精細ビデオのリアルタイムセマンティックセマンティックセマンティック化の問題に取り組む。
i) CPU上では、非常に高速な光フロー法であり、ビデオの時間的側面を利用して、あるフレームから次のフレームへ意味情報を伝達するために使用される。
高解像度フレーム(2048 x 1024)を持つ一般的なCityscapesデータセットでは、単一のGPUとCPU上で80から1000Hzの動作ポイントが提案されている。
論文 参考訳（メタデータ） (2019-12-26T11:45:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。