論文の概要: Librispeech Transducer Model with Internal Language Model Prior Correction

• arxiv url: http://arxiv.org/abs/2104.03006v1
• Date: Wed, 7 Apr 2021 09:18:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-08 13:06:57.506804
• Title: Librispeech Transducer Model with Internal Language Model Prior Correction
• Title（参考訳）: 内部言語モデル先行補正を用いたlibrispeechトランスデューサモデル
• Authors: Albert Zeyer, Andr\'e Merboldt, Wilfried Michel, Ralf Schl\"uter, Hermann Ney
• Abstract要約: 外部言語モデル (LM) を浅い融合で含み、推定された内部 LM を減算する変種を研究する。 内部LMの減算は、通常の浅い融合よりも14%以上の相対的な改善をもたらします。 我々のトランスデューサは、非ブランクラベルに対して異なる確率分布を持つ。
• 参考スコア（独自算出の注目度）: 58.579080710256704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present our transducer model on Librispeech. We study variants to include an external language model (LM) with shallow fusion and subtract an estimated internal LM. This is justified by a Bayesian interpretation where the transducer model prior is given by the estimated internal LM. The subtraction of the internal LM gives us over 14% relative improvement over normal shallow fusion. Our transducer has a separate probability distribution for the non-blank labels which allows for easier combination with the external LM, and easier estimation of the internal LM. We additionally take care of including the end-of-sentence (EOS) probability of the external LM in the last blank probability which further improves the performance. All our code and setups are published.
• Abstract（参考訳）: 我々はlibrispeechのトランスデューサモデルを提案する。 浅い融合を伴う外部言語モデル(LM)を含む変種について検討し、推定内部LMを減算する。 これはベイズ解釈によって正当化され、トランスデューサモデルが推定内部LMによって与えられる。 内部lmの減算は通常の浅核融合よりも14%以上向上する。 我々のトランスデューサは、外部のLMとの結合を容易にし、内部のLMを容易に推定できる非ブランクラベルの確率分布を持つ。 また,最後の空白確率に外部LMの終末確率(EOS)を含ませることで,性能をさらに向上する。 コードとセットアップはすべて公開されています。

関連論文リスト

• Language Models with Conformal Factuality Guarantees [44.767328168194815]
  コンフォーマルな事実性(conformal factuality)は、言語モデル(LM)出力に対する高い確率の正確性を保証するフレームワークである。 言語モデルにおける共形予測は,高い確率精度保証を提供するバックオフアルゴリズムに対応することを示す。
  論文  参考訳（メタデータ） (2024-02-15T18:31:53Z)
• Small Language Model Can Self-correct [42.76612128849389]
  本稿では,自己トリガー方式でLMの初期出力を補正することを目的として,生成言語モデルに内在的アンダーライン・アンダーライン・コレクション(ISC)を導入する。 我々は,60億から13億のパラメータサイズを持つLMを用いて,常識推論と事実知識推論を含む2つのタスクで実験を行う。
  論文  参考訳（メタデータ） (2024-01-14T14:29:07Z)
• Modular Hybrid Autoregressive Transducer [51.29870462504761]
  トランスデューサモデルのテキストのみの適応は、エンドツーエンド音声認識では依然として困難である。 ラベルとブランクデコーダを構造的に分離したモジュール型ハイブリッド自己回帰トランスデューサを提案する。 Googleの大規模生産データでは、100B文に適合したマルチドメインのMHATが、LM融合なしでWERを最大12.4%削減する。
  論文  参考訳（メタデータ） (2022-10-31T03:56:37Z)
• On Language Model Integration for RNN Transducer based Speech Recognition [49.84285563767935]
  共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。 ILM補正による性能改善の2つの主な理由を復号化解釈する。 また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:30:46Z)
• Investigating Methods to Improve Language Model Integration for Attention-based Encoder-Decoder ASR Models [107.86965028729517]
  注意ベースのエンコーダデコーダ(AED)モデルは、トレーニング転写から暗黙的な内部言語モデル(ILM)を学ぶ。 AEDモデルから直接ILMを推定する新しい手法をいくつか提案する。
  論文  参考訳（メタデータ） (2021-04-12T15:16:03Z)
• Internal Language Model Training for Domain-Adaptive End-to-End Speech Recognition [83.739317674302]
  内部言語モデル推定(ILME)法は、外部言語モデルと自動音声認識システムとの連携を改善するために用いられる。 内部LM損失を最小限に抑えるための内部LMトレーニング(ILMT)手法を提案する。 ILMTは、ESRの精度を犠牲にすることなく、既存のコンポーネント内でスタンドアロンのLMを形成するようE2Eモデルを奨励している。
  論文  参考訳（メタデータ） (2021-02-02T08:15:02Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。