論文の概要: Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR

• arxiv url: http://arxiv.org/abs/2607.09598v1
• Date: Fri, 10 Jul 2026 16:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-13 14:47:12.908186
• Title: Tokenizer Transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR
• Title（参考訳）: Tokenizer transplantation: Mitigating Autoregressive Collapse in Edge-Efficient Bengali ASR
• Abstract要約: この研究は、ベンガル語のような形態的に豊かな非ラテン言語におけるモデルの失敗の根本原因を明らかにする。 デコーダの語彙をネイティブのBanglaBERT WordPiece語彙に置き換えるための新しい語彙移植パイプラインが提案されている。 改良されたアーキテクチャは、21.54%のワードエラー率(WER)と0.0053のリアルタイムファクタ(RTF)を達成する。
• 参考スコア（独自算出の注目度）: 1.3201554201420624
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Lightweight speech recognition models are critical for edge deployment, yet highly optimized architectures like Moonshine often fail on morphologically rich, non-Latin languages such as Bengali. This study identifies the root cause of this failure as the model's English-centric byte-level tokenizer, which fragments Bengali words into high-fertility byte chains and triggers catastrophic autoregressive collapse during inference. To resolve this, a novel vocabulary transplantation pipeline is proposed to replace the decoder vocabulary with the native-script BanglaBERT WordPiece vocabulary and resize the corresponding token embedding matrix. Experimental results demonstrate a reduction in token fertility from 9.16 to 1.30. By decreasing autoregressive sequence length by 85.8%, decoding instability is entirely mitigated. When evaluated on the 882-hour Lipi-Ghor dataset, the modified architecture achieves a competitive 21.54% Word Error Rate (WER) and a Real-Time Factor (RTF) of 0.0053. Ultimately, this research provides a scalable, reproducible blueprint for cross-script adaptation of compact ASR models without the need for resource-intensive pre-training.
• Abstract（参考訳）: 軽量音声認識モデルはエッジデプロイメントには不可欠だが、Moonshineのような高度に最適化されたアーキテクチャは、ベンガル語のような形態的に豊かな非ラテン言語では失敗することが多い。 本研究は、ベンガル語の単語を高速なバイト連鎖に断片化し、推論中に破滅的な自己回帰的崩壊を引き起こす、モデルにおける英語中心のバイトレベルトークンーザとして、この失敗の根本原因を明らかにした。 これを解決するために、新しい語彙移植パイプラインを提案し、デコーダ語彙をネイティブスクリプトBanglaBERT WordPiece語彙に置き換え、対応するトークン埋め込みマトリックスを再サイズする。 実験の結果、トークンの受精率は9.16から1.30に減少した。 自己回帰配列の長さを85.8%減少させることで、デコード不安定は完全に緩和される。 882時間のLipi-Ghorデータセットで評価すると、修正されたアーキテクチャは21.54%のワードエラー率(WER)と0.0053のリアルタイムファクタ(RTF)を達成する。 最終的に、この研究は、リソース集約的な事前学習を必要とせずに、コンパクトなASRモデルのクロススクリプト適応のためのスケーラブルで再現可能な青写真を提供する。

関連論文リスト

• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Error-Aware TF-IDF Retrieval-Augmented Generation for ASR Error Correction [0.0]
  この手紙は、音声とループの幻覚を明示的に解決する、非常に効率的で純粋に語彙的な誤り認識フレームワークを提案する。 提案手法は、対称テキスト正規化モジュールと、新しい誤り認識項の周波数逆文書頻度アルゴリズムを統合する。
  論文  参考訳（メタデータ） (2026-06-19T16:43:31Z)
• Adapting TrOCR for Printed Tigrinya Text Recognition: Word-Aware Loss Weighting for Cross-Script Transfer Learning [0.0]
  Ge'ezスクリプトを用いて印刷されたTigrinyaに対するTrOCRの最初の適応について述べる。 事前学習モデルから、バイトレベルのBPEトークン化器を230Ge'ez文字に拡張する。 すべてのコード、モデルウェイト、評価スクリプトが公開されている。
  論文  参考訳（メタデータ） (2026-04-22T17:43:50Z)
• Why Advanced Encoders Lag on Sparse Retrieval? The Answer and an Approach to Bridging Vocabulary Gaps [5.182584489074576]
  現代のトークン化器は、単一の意味単位を冗長な表面形式にマッピングする、生のケースセンシティブな語彙を利用する。 モデルに依存しないフレームワークであるtextbfVocabulary Transfer (VT) を提案する。 VTは普遍的に有効であり、ModernBERTはBEIRベンチマークで最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2026-04-20T05:52:25Z)
• Multi-Level Embedding Conformer Framework for Bengali Automatic Speech Recognition [2.235406148098187]
  本研究では,Bengali ASRのエンドツーエンドフレームワークを提案する。 マルチレベル埋め込み融合機構を備えたConformer-CTCバックボーン上に構築されている。 このモデルは、きめ細かい音素の手がかりと高レベルの文脈パターンをキャプチャする。
  論文  参考訳（メタデータ） (2025-12-23T04:39:12Z)
• Distinguishing Repetition Disfluency from Morphological Reduplication in Bangla ASR Transcripts: A Novel Corpus and Benchmarking Analysis [0.0]
  ノイズの多いASR転写におけるこれらの2つの現象を明瞭に区別するために,手動で注釈を付した2万列バングラコーパスを紹介した。 我々は、この新しいリソースを、最先端の多言語大言語モデル(LLM)とタスク固有のエンコーダモデルの微調整という2つのパラダイムを用いてベンチマークする。
  論文  参考訳（メタデータ） (2025-11-17T09:06:01Z)
• Restoring Rhythm: Punctuation Restoration Using Transformer Models for Bangla, a Low-Resource Language [0.0]
  分岐復元は、Banglaのような低リソース言語における自動音声認識タスクに不可欠である。 本研究では,変圧器を用いたモデル,具体的にはXLM-RoBERTa-largeを用いて,不動Banglaテキストの句読点を自動的に復元する方法について検討する。 我々の最高の性能モデルは、α = 0.20%の増進係数で訓練され、Newsテストセットで97.1%の精度を達成する。 その結果、参照とASRの書き起こしに対する強い一般化が示され、実世界のノイズの多いシナリオにおけるモデルの有効性が示される。
  論文  参考訳（メタデータ） (2025-07-24T14:33:13Z)
• An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
  語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。 ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
  論文  参考訳（メタデータ） (2024-03-30T15:29:49Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
  我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。 非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。 我々は,中国における公開データセットAISHELL-1の実験を行った。
  論文  参考訳（メタデータ） (2020-05-11T04:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。