論文の概要: Investigating the Effect of Language Models in Sequence Discriminative Training for Neural Transducers

• arxiv url: http://arxiv.org/abs/2310.07345v1
• Date: Wed, 11 Oct 2023 09:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 07:37:18.644492
• Title: Investigating the Effect of Language Models in Sequence Discriminative Training for Neural Transducers
• Title（参考訳）: ニューラルトランスデューサのシーケンス識別訓練における言語モデルの影響の検討
• Authors: Zijian Yang, Wei Zhou, Ralf Schl\"uter, Hermann Ney
• Abstract要約: 文脈長の異なる言語モデル (LM) と, 逐次識別訓練に用いるラベル単位 (音素対単語) の効果について検討した。 Librispeech 実験の結果,単語レベルLM は音素レベルLM よりも優れていた。 この結果から, 系列識別訓練における仮説空間の質の重要性が示唆された。
• 参考スコア（独自算出の注目度）: 36.60689278751483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the effect of language models (LMs) with different context lengths and label units (phoneme vs. word) used in sequence discriminative training for phoneme-based neural transducers. Both lattice-free and N-best-list approaches are examined. For lattice-free methods with phoneme-level LMs, we propose a method to approximate the context history to employ LMs with full-context dependency. This approximation can be extended to arbitrary context length and enables the usage of word-level LMs in lattice-free methods. Moreover, a systematic comparison is conducted across lattice-free and N-best-list-based methods. Experimental results on Librispeech show that using the word-level LM in training outperforms the phoneme-level LM. Besides, we find that the context size of the LM used for probability computation has a limited effect on performance. Moreover, our results reveal the pivotal importance of the hypothesis space quality in sequence discriminative training.
• Abstract（参考訳）: 本研究では,音素に基づくニューラルトランスデューサの逐次識別訓練において,文脈長の異なる言語モデル(LM)とラベル単位(音素対単語)の効果について検討する。 格子フリーおよびNベストリストアプローチについて検討した。 音素レベルのLMを用いた格子フリー手法に対して,フルコンテキスト依存のLMを使用するための文脈履歴を近似する手法を提案する。 この近似は任意の文脈長に拡張でき、格子自由法で単語レベルのlmsを使うことができる。 さらに,格子フリーおよびN-best-list-based法で系統比較を行った。 Librispeech 実験の結果,単語レベルLM は音素レベルLM よりも優れていた。 さらに,確率計算に使用するLMのコンテキストサイズは,性能に限られた影響を及ぼすことがわかった。 さらに,この結果から,系列識別訓練における仮説空間品質の重要性が示唆された。

関連論文リスト

• Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
  大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。 本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。 我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
  論文  参考訳（メタデータ） (2024-06-07T13:31:51Z)
• CSS: Contrastive Semantic Similarity for Uncertainty Quantification of LLMs [1.515687944002438]
  テキストペアの不確実性を測定するための類似性特徴を求めるモジュールであるContrastive Semantic similarityを提案する。 我々は,3つの大規模言語モデル (LLM) を用いて,複数のベンチマーク質問応答データセットについて広範な実験を行った。 提案手法は,LLMの信頼性の高い応答を,同等のベースラインよりも高い精度で推定できることを示す。
  論文  参考訳（メタデータ） (2024-06-05T11:35:44Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Realizing Disentanglement in LM Latent Space via Vocabulary-Defined Semantics [32.178931149612644]
  本稿では,語彙定義意味論(vocabulary-defined semantics)と呼ばれる先駆的アプローチを導入する。 我々は、LM適応の新たな方法として、データ表現のセマンティッククラスタリングを行う。 提案手法は,検索拡張生成とパラメータ効率の微調整の最先端手法より優れている。
  論文  参考訳（メタデータ） (2024-01-29T14:29:48Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• On the Relation between Internal Language Model and Sequence Discriminative Training for Neural Transducers [52.88268942796418]
  内部言語モデル(ILM)のサブトラクションは、RNN-Transducerの性能向上に広く応用されている。 列識別訓練は, 理論的, 経験的両面からILMサブトラクションと強く相関していることを示す。
  論文  参考訳（メタデータ） (2023-09-25T13:35:28Z)
• Preference-grounded Token-level Guidance for Language Model Fine-tuning [105.88789610320426]
  好みのある言語モデルを調整することは、自然言語生成において重要な問題である。 LMトレーニングでは、教師付きデータの量に基づいて、学習指導を利用する2つの「ミニマリスト*学習目標」を示す。 実験において,本手法は2つの異なるLMタスクに対して競合的に動作する。
  論文  参考訳（メタデータ） (2023-06-01T07:00:07Z)
• On Language Model Integration for RNN Transducer based Speech Recognition [49.84285563767935]
  共通RNN-Tフレームワークで構成された様々なILM補正に基づくLM積分法について検討する。 ILM補正による性能改善の2つの主な理由を復号化解釈する。 また,ハイブリッド自己回帰変換器の証明を拡張することで,正確なILMトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T16:30:46Z)
• Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese [45.80297329300326]
  本稿では,ニューラルネットワークモデル(LM)を用いて単語の順序を解析する手法について検討する。 本手法が単語の順序分析に有効かどうかを検討する。 LMは分析ツールとして使うのに十分な単語順の知識を提示する。
  論文  参考訳（メタデータ） (2020-05-02T14:32:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。