論文の概要: Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units
- arxiv url: http://arxiv.org/abs/2111.00610v1
- Date: Sun, 31 Oct 2021 22:48:30 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 14:30:39.366348
- Title: Towards Language Modelling in the Speech Domain Using Sub-word
Linguistic Units
- Title(参考訳): サブワード言語単位を用いた音声領域における言語モデリング
- Authors: Anurag Katakkar, Alan W Black
- Abstract要約: 音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
- 参考スコア(独自算出の注目度): 56.52704348773307
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Language models (LMs) for text data have been studied extensively for their
usefulness in language generation and other downstream tasks. However, language
modelling purely in the speech domain is still a relatively unexplored topic,
with traditional speech LMs often depending on auxiliary text LMs for learning
distributional aspects of the language. For the English language, these LMs
treat words as atomic units, which presents inherent challenges to language
modelling in the speech domain. In this paper, we propose a novel LSTM-based
generative speech LM that is inspired by the CBOW model and built on linguistic
units including syllables and phonemes. This offers better acoustic consistency
across utterances in the dataset, as opposed to single melspectrogram frames,
or whole words. With a limited dataset, orders of magnitude smaller than that
required by contemporary generative models, our model closely approximates
babbling speech. We show the effect of training with auxiliary text LMs,
multitask learning objectives, and auxiliary articulatory features. Through our
experiments, we also highlight some well known, but poorly documented
challenges in training generative speech LMs, including the mismatch between
the supervised learning objective with which these models are trained such as
Mean Squared Error (MSE), and the true objective, which is speech quality. Our
experiments provide an early indication that while validation loss and Mel
Cepstral Distortion (MCD) are not strongly correlated with generated speech
quality, traditional text language modelling metrics like perplexity and
next-token-prediction accuracy might be.
- Abstract(参考訳): テキストデータのための言語モデル (LM) は、言語生成やその他の下流タスクにおける有用性について広く研究されている。
しかし、音声領域における純粋に言語モデリングはいまだに未探索のトピックであり、従来の音声 LM は言語の分布面を学習するための補助テキスト LM に依存することが多い。
英語では、これらのLMは単語を原子単位として扱い、音声領域における言語モデリングに固有の課題をもたらす。
本稿では,音節や音素を含む言語単位をベースとして,CBOWモデルにインスパイアされた新しいLSTMに基づく生成音声LMを提案する。
これにより、単一のメルスペクトログラムフレームや単語全体とは対照的に、データセット内の発話間の音響的一貫性が向上する。
限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。
補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
また,本実験では,これらのモデルの訓練対象である平均二乗誤り(Mean Squared Error,MSE)と,音声品質の真の目標とのミスマッチを含む,生成音声の訓練における,よく知られた課題と不十分な課題を強調した。
検証損失とメルケプストラム歪み(mel cepstral strain, mcd)は,生成音声品質と強く相関しないが,perplexity や next-token-prediction accuracy といった従来のテキスト言語モデリング指標が有意である可能性が示唆された。
関連論文リスト
- Train & Constrain: Phonologically Informed Tongue-Twister Generation from Topics and Paraphrases [24.954896926774627]
本稿では,Large Language Models (LLMs) から音韻的に情報を得た舌のツイスターを生成するパイプラインを提案する。
また、生成されたデータセットに基づいて訓練された小型モデルの自動評価と人的評価の結果も提示する。
本稿では,任意の因果言語モデルに統合可能なPhoneme-Aware Constrained Decoding Module (PACD)を導入する。
論文 参考訳(メタデータ) (2024-03-20T18:13:17Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:55:21Z) - Teach me with a Whisper: Enhancing Large Language Models for Analyzing
Spoken Transcripts using Speech Embeddings [8.660203441911554]
本稿では,音声データを利用した言語モデルの学習手法を提案する。
これにより、テスト時のオーディオ処理オーバーヘッドを回避しつつ、音声書き起こしを解析するための言語モデルが改善される。
本実験では, 従来の言語モデルに対して, 音声書き起こし解析のタスクにおいて一貫した改善が達成された。
論文 参考訳(メタデータ) (2023-11-13T01:53:12Z) - Toward Joint Language Modeling for Speech Units and Text [89.32163954508489]
音声単位とテキストの共用言語モデリングについて検討する。
音声とテキストの混在度を評価するための自動計測手法を提案する。
提案手法を用いて音声単位とテキストを混合することにより,SLUタスクにおける音声のみのベースラインを改良することを示す。
論文 参考訳(メタデータ) (2023-10-12T20:53:39Z) - On decoder-only architecture for speech-to-text and large language model
integration [59.49886892602309]
Speech-LLaMAは、音声情報をテキストベースの大規模言語モデルに効果的に組み込む新しいアプローチである。
我々は多言語音声からテキストへの翻訳タスクの実験を行い、強いベースラインよりも大幅に改善されたことを示す。
論文 参考訳(メタデータ) (2023-07-08T06:47:58Z) - AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。
AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。
音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
論文 参考訳(メタデータ) (2023-06-22T14:37:54Z) - The Interpreter Understands Your Meaning: End-to-end Spoken Language
Understanding Aided by Speech Translation [13.352795145385645]
音声翻訳(ST)は、エンドツーエンドの音声言語理解のために、音声モデルを事前訓練する良い方法である。
我々は,本モデルが単言語および多言語意図分類に基づくベースラインよりも高い性能を達成することを示す。
また、音声要約のための新しいベンチマークデータセットを作成し、低リソース/ゼロショットを英語からフランス語またはスペイン語に転送する。
論文 参考訳(メタデータ) (2023-05-16T17:53:03Z) - Text-Free Prosody-Aware Generative Spoken Language Modeling [46.19240899818964]
pGSLM(Prosody-aware Generative Speech Language Model)を提案する。
音声のマルチストリームトランスフォーマー言語モデル(MS-TLM)と、MS-TLM出力を波形に変換する適応型HiFi-GANモデルで構成されている。
実験結果から, pGSLMは韻律とコンテンツモデリングの両方を改善するために韻律を利用することができ, 自然な, 意味のある, 一貫性のある音声を生成することができることがわかった。
論文 参考訳(メタデータ) (2021-09-07T18:03:21Z) - SPLAT: Speech-Language Joint Pre-Training for Spoken Language
Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。
大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。
音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文 参考訳(メタデータ) (2020-10-05T19:29:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。