論文の概要: Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory
- arxiv url: http://arxiv.org/abs/2611.08092v1
- Date: Thu, 05 Nov 2026 14:36:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.541286
- Title: Gabor Gabor: E-Gaborformer, a Strictly Causal Speech Recognizer with Gabor-Dictionary Convolutions and Delta-Rule Memory
- Title(参考訳): Gabor Gabor:Gabor-Dictionary ConvolutionsとDelta-Ruleメモリを備えた厳格な因果認識器
- Abstract要約: リアルタイム音声エージェントは、将来の音声を待つことがなく、通話長とともに1回あたりのメモリが成長しない音声認識器を必要とする。
本稿では,Gated DeltaNet-2 の繰り返し層とスライディングウインドウの注意を3:1比で組み合わせた厳密な因果エンコーダ E-Gaborformer を提案する。
E-Gaborformerは初期台地を早めに残し、与えられた精度を最大18%早く達成し、同じフロントエンドとレシピで訓練されたE-Branchformerにマッチまたは打ち勝つ。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Real-time voice agents need a speech recognizer that never waits for future audio and whose memory per call does not grow with the length of the call. We present E-Gaborformer, a strictly causal encoder that combines Gated DeltaNet-2 recurrent layers with sliding-window attention in a 3:1 ratio, and builds every temporal convolution from a fixed dictionary of causal Gabor atoms. Its streaming state is constant, about 19 MB per call at production scale including the prediction network, where a causal-attention encoder of the same size accumulates over 1 GB after ten minutes. In a controlled causal study on LibriSpeech, E-Gaborformer leaves the initial plateau earlier, reaches a given accuracy up to 18% sooner, and matches or beats an E-Branchformer trained with the identical front end and recipe. At production scale, a 0.6B-parameter Hebrew and English streaming transducer built on E-Gaborformer has 28 to 31% lower word error rate (WER) than NVIDIA's Nemotron 3.5 ASR Streaming, a model of the same size, on English voice-agent traffic, and up to 20% lower Hebrew WER than our previous production system. The same weights serve strictly causal and 480 ms-lookahead decoding with no loss in accuracy, and a two-class formulation of the RNN-T lattice trains the transducer 2.6x faster with exact loss and gradients.
- Abstract(参考訳): リアルタイム音声エージェントは、将来の音声を待つことがなく、通話長とともに1回あたりのメモリが成長しない音声認識器を必要とする。
本稿では,Gated DeltaNet-2の繰り返し層とスライディングウインドウの注意を3:1比で組み合わせた厳密な因果エンコーダであるE-Gaborformerについて述べる。
ストリーミング状態は一定であり、10分後に同じサイズの因果アテンションエンコーダが1GB以上蓄積される予測ネットワークを含む、運用規模で1コールあたり約19MBである。
LibriSpeechの制御された因果研究において、E-Gaborformerは初期台地を早く離れて、与えられた精度を最大18%早く到達し、同一のフロントエンドとレシピで訓練されたE-Branchformerにマッチまたは打ち勝つ。
E-Gaborformerをベースとした0.6Bパラメータのヘブライ語と英語のストリーミングトランスデューサは、NVIDIAのNemotron 3.5 ASR Streamingよりも28~31%低いワードエラー率(WER)を持つ。
同じ重量は厳密に因果と480 ms-lookaheadデコードで正確さを損なわず、RNN-T格子の2クラスの定式化はトランスデューサを正確に損失と勾配で2.6倍速く訓練する。
関連論文リスト
- NAVIR: Neuromorphic Audio-Visual Speech Recognition for Robust Human-Robot Interaction on Edge Hardware [0.0]
NAVIRはBrainChip AkidaニューロモーフィックプロセッサをターゲットにしたエンドツーエンドのAVSRシステムである。
モデルは、ノイズ強化オーディオの接続性時間分類を用いて訓練される。
98.6%のコマンド精度を1.5% WERで達成している。
論文 参考訳(メタデータ) (2026-09-21T10:36:30Z) - GrainSpeech: Less Context, More Detail for Compact Speech Synthesis [3.2153831732313614]
GrainSpeechは264.8Kのパラメータしか持たず、マイクロコントローラ上で17.9倍のリアルタイムメル生成を実現している。
本稿では,各予測誤差を36.4%,17.3%,3.4%削減する固定受容場畳み込みエンコーダを提案する。
論文 参考訳(メタデータ) (2026-09-16T15:59:20Z) - TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。
本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。
このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
論文 参考訳(メタデータ) (2026-09-08T13:03:46Z) - FreyaTTS Technical Report [0.0]
本稿では,Freya-TTSについて紹介する。
AudioVAE2(16kHzのエンコード、48kHzのデコード)の凍結した連続潜伏空間で動作し、モデルがテキストからラテントマッピングに集中できるようにしている。
バンドマッチングワードエラー率(WER)は8.0%、文字エラー率(CER)は3.0%で、かなり大きなオープンソースシステムより優れています。
論文 参考訳(メタデータ) (2026-07-10T15:36:30Z) - TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。
音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。
3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
論文 参考訳(メタデータ) (2026-06-07T07:15:34Z) - RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech
Translation without Quality Compromise [66.92823764664206]
我々は,任意のトランスフォーマーベース音声符号化アーキテクチャにシームレスに統合可能な,新しいReduceer AdaptorブロックRedAptを提案する。
事前訓練されたwav2vec 2音声エンコーダをRedAptbrings 41%の高速化、33%のメモリ削減、24%のFLOPを推論で削減した。
論文 参考訳(メタデータ) (2022-10-16T07:58:25Z) - FastLTS: Non-Autoregressive End-to-End Unconstrained Lip-to-Speech
Synthesis [77.06890315052563]
我々は、低レイテンシで非拘束音声から高品質な音声を直接合成できる非自己回帰的エンドツーエンドモデルであるFastLTSを提案する。
実験により,本モデルは3秒の入力シーケンスにおける現在の自己回帰モデルと比較して,音声生成の19.76倍の高速化を実現していることがわかった。
論文 参考訳(メタデータ) (2022-07-08T10:10:39Z) - Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired
Speech Data [145.95460945321253]
本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。
提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
論文 参考訳(メタデータ) (2022-03-31T15:33:56Z) - Instantaneous Grammatical Error Correction with Shallow Aggressive
Decoding [57.08875260900373]
即時文法的誤り訂正(GEC)のためのトランスフォーマーのオンライン推論効率を改善するために,Shallow Aggressive Decoding (SAD)を提案する。
SADは、計算並列性を改善するために、各ステップで1つのトークンだけを復号するのではなく、可能な限り多くのトークンを並列に復号する。
英語と中国語のGECベンチマークでの実験では、アグレッシブな復号化がオンライン推論の大幅なスピードアップをもたらす可能性がある。
論文 参考訳(メタデータ) (2021-06-09T10:30:59Z) - Advanced Long-context End-to-end Speech Recognition Using
Context-expanded Transformers [56.56220390953412]
コンフォーメータアーキテクチャを導入することで、精度をさらに向上させ、以前の作業を拡張します。
拡張トランスフォーマーは、最先端のエンドツーエンドのASR性能を提供する。
論文 参考訳(メタデータ) (2021-04-19T16:18:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。