論文の概要: Diffusion Language Models for Speech Recognition

• arxiv url: http://arxiv.org/abs/2604.14001v1
• Date: Wed, 15 Apr 2026 15:46:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-16 20:38:32.615846
• Title: Diffusion Language Models for Speech Recognition
• Title（参考訳）: 音声認識のための拡散言語モデル
• Authors: Davyd Naveriani, Albert Zeyer, Ralf Schlüter, Hermann Ney,
• Abstract要約: 拡散言語モデルは、標準言語モデルの主要な代替品として登場した。 マスク拡散言語モデル (MDLM) と一様拡散言語モデル (USDM) を組み込むことにより, ASR仮説を再現する。 その結果,USDMとMDLMは,認識されたテキストの精度を大幅に向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 33.610630337318845
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Diffusion language models have recently emerged as a leading alternative to standard language models, due to their ability for bidirectional attention and parallel text generation. In this work, we explore variants for their use in speech recognition. Specifically, we introduce a comprehensive guide to incorporating masked diffusion language models (MDLM) and uniform-state diffusion models (USDMs) for rescoring ASR hypotheses. Additionally, we design a new joint-decoding method that combines CTC and USDM by integrating the framewise probability distributions derived from CTC with the labelwise probability distributions computed by USDM at each decoding step, thereby generating new candidates that combine strong language knowledge from USDM and acoustic information from CTC. Our findings reveal that USDM, as well as MDLM, can significantly improve the accuracy of recognized text. We publish all our code and recipes.
• Abstract（参考訳）: 拡散言語モデルは、双方向の注意とパラレルテキスト生成能力のために、最近標準言語モデルの主要な代替品として登場した。 本研究では,音声認識に使用する変種について検討する。 具体的には,マスク拡散言語モデル (MDLM) と一様拡散言語モデル (USDM) を組み込むことにより,ASR仮説を再現する。 さらに、CTCから派生したフレームワイズ確率分布と、USDMによって計算されたラベルワイズ確率分布とをデコードステップ毎に統合することにより、CTCとUSDMを結合した新しい共同復号法を設計し、USDMからの強い言語知識とCTCからの音響情報を組み合わせた新しい候補を生成する。 その結果,USDMとMDLMは,認識されたテキストの精度を大幅に向上させることができることがわかった。 すべてのコードとレシピを公開します。

関連論文リスト

• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer [17.700515986659063]
  Code-Switching (CS) Multilingual Automatic Speech Recognition (ASR) モデルは会話中に2つ以上の交互言語を含む音声を転写することができる。 本稿では,純粋にモノリンガルなデータソースからASRデータセットをコードスイッチングする新しい手法を提案する。 新たな Concatenated Tokenizer により、ASR モデルは既存のモノリンガルトークンを再利用しながら、出力されたテキストトークンごとに言語IDを生成することができる。
  論文  参考訳（メタデータ） (2023-06-14T21:24:11Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Learning Disentangled Semantic Representations for Zero-Shot Cross-Lingual Transfer in Multilingual Machine Reading Comprehension [40.38719019711233]
  マルチリンガル事前学習モデルは、機械読取理解(MRC)において、リッチリソース言語から低リソース言語への移行知識をゼロショットで得ることができる 本稿では,シメセマンティック・ディスタングルメント・モデル(SSDM)を用いた,多言語事前学習モデルで学習した表現の構文から意味論を解離させる新しい多言語MRCフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-03T05:26:42Z)
• Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models [17.404220737977738]
  言語間の関係を2つの最先端多言語モデルにエンコードする方法について検討する。 その結果,言語特性は類型的に類似した言語間で共同でコード化されていることが示唆された。
  論文  参考訳（メタデータ） (2020-10-24T07:55:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。