VibeVoice-ASR-BitNet Technical Report
Abstractの概要
本技術報告は、エッジCPU上でのリアルタイム自動音声認識用に設計されたVibeVoice-ASRの圧縮版である、VibeVoice-ASR-BitNetについて述べている。このシステムは不均一な量子化を使用しており、VAE音響トークナイザーはパイプライン全体のINT8スキームで量子化される一方、自己回帰言語モデルはBitNetスタイルの三値重みを使用し、さらにARMおよびx86 CPU向けに追加の融合演算子とカスタムSIMDカーネルを組み込んでいる。著者らはまた、積極的な圧縮を安定させ、認識品質を維持するために、段階的な量子化を意識したトレーニング（progressive QAT）を適用している。実験において、モデルのサイズは4.62 GBから1.58 GBに削減され、大規模なASRモデルに通常必要とされるよりも少ないCPUスレッド数でリアルタイム推論を達成している。
新規性
際立った貢献は、単一の量子化手法を均一に適用するのではなく、LLMベースのASRパイプライン内の異なる計算ボトルネックに適合する、ステージ固有の量子化設計である。本研究はまた、これを段階的QATおよびggml内のカスタムSIMDカーネルと組み合わせることで、汎用CPU上での三値/INT8推論を実用的なものにしている。
成果
報告されたシステムは、4.62 GBから1.58 GBへの2.9倍のモデルサイズ削減を達成し、テストされた入力長全体でわずか3つのCPUスレッドを使用してリアルタイム推論（RTF < 1）に到達している。同様のモデルサイズのWhisper.cppよりも1.6〜2.3倍高速であると報告されており、またFP16ベースラインに対する劣化はわずかであり、いくつかのベンチマークで競争力のある多言語精度を示している。
論文の注目点
- 本論文は、それぞれのCPUボトルネックを反映し、アクティベーションの重いVAEトークナイザーにINT8量子化を、重みパラメータの多い言語モデルに三値のBitNetスタイル量子化を割り当てている。
- 推論の効率化は、ggmlフレームワークにおけるオペレータ融合とARMおよびx86向けのカスタムSIMDカーネルによってサポートされており、少数のスレッドでのリアルタイムCPU ASRを可能にしている。
- 現在の実装はこのアーキテクチャ上で検証されており、オフライン推論のみのサポートとなるが、圧縮されたモデルは15のベンチマークにわたり競争力のある多言語ASR性能を維持している。