論文の概要: LLM-based phoneme-to-grapheme for phoneme-based speech recognition

• arxiv url: http://arxiv.org/abs/2506.04711v1
• Date: Thu, 05 Jun 2025 07:35:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.585591
• Title: LLM-based phoneme-to-grapheme for phoneme-based speech recognition
• Title（参考訳）: 音素に基づく音声認識のためのLLM-based phoneme-to-grapheme
• Authors: Te Ma, Min Bi, Saierdaer Yusuyin, Hao Huang, Zhijian Ou,
• Abstract要約: 音素自動音声認識(ASR)のための音素間符号化(LLM-P2G)を提案する。 実験の結果, LLM-P2G はポーランド語とドイツ語の交叉型 ASR において, WER の相対減少率 3.6% と 6.9% でWFST 系よりも優れていた。
• 参考スコア（独自算出の注目度）: 11.552927239284582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In automatic speech recognition (ASR), phoneme-based multilingual pre-training and crosslingual fine-tuning is attractive for its high data efficiency and competitive results compared to subword-based models. However, Weighted Finite State Transducer (WFST) based decoding is limited by its complex pipeline and inability to leverage large language models (LLMs). Therefore, we propose LLM-based phoneme-to-grapheme (LLM-P2G) decoding for phoneme-based ASR, consisting of speech-to-phoneme (S2P) and phoneme-to-grapheme (P2G). A challenge is that there seems to have information loss in cascading S2P and P2G. To address this challenge, we propose two training strategies: data augmentation with noisy phonemes (DANP), and randomized top-$K$ marginalized (TKM) training and decoding. Our experimental results show that LLM-P2G outperforms WFST-based systems in crosslingual ASR for Polish and German, by relative WER reductions of 3.6% and 6.9% respectively.
• Abstract（参考訳）: 自動音声認識(ASR)では,音素ベースの多言語事前学習とクロスリンガル微調整が,単語ベースモデルと比較して高いデータ効率と競争性に優れている。 しかし、WFST(Weighted Finite State Transducer)ベースのデコーディングは、その複雑なパイプラインと大きな言語モデル(LLM)を利用できないことで制限されている。 そこで本研究では,LLMに基づく音声合成方式(LLM-P2G)を用いて,音声合成方式(S2P)と音素合成方式(P2G)を併用した音声合成方式を提案する。 課題は、カスケードS2PとP2Gに情報損失があるように見えることである。 この課題に対処するために、ノイズのある音素(DANP)によるデータ拡張と、TKMトレーニングと復号化の2つのトレーニング戦略を提案する。 実験の結果, LLM-P2G はポーランド語とドイツ語の交叉型 ASR において, WER の相対減少率 3.6% と 6.9% でWFST 系よりも優れていた。

関連論文リスト

• Zero-resource Speech Translation and Recognition with LLMs [38.11535502039386]
  我々は,ペア音声テキストデータを見たことのない言語において,多言語大言語モデル(LLM)を用いてSTとASRを実行することを提案する。 我々は、事前訓練された多言語音声エンコーダ、多言語LLM、およびLLMのトークン埋め込み空間に音声表現をマッピングする軽量適応モジュールを用いて、これを実現する。
  論文  参考訳（メタデータ） (2024-12-24T17:37:11Z)
• Large Language Models are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法を評価し,WERが0.79%,AVSRが0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• LLM-Powered Grapheme-to-Phoneme Conversion: Benchmark and Case Study [2.8948274245812327]
  Grapheme-to-phoneme (G2P)変換は音声処理において重要である。 大規模言語モデル(LLM)は、最近、様々な言語タスクにおいて大きな可能性を証明している。 本稿では,ペルシャ語の文レベルの音声課題に対して,G2Pの性能を評価するためのベンチマークデータセットを提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:13:55Z)
• Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation [9.118302330129284]
  本研究は低リソース言語における2パスの言語間変換学習を最適化する。 共有調音特性に基づいて音素を融合させることにより,音素語彙のカバレッジを最適化する。 音素と音素の訓練中に, 現実的なASR雑音に対するグローバルな音素ノイズ発生装置を導入し, 誤りの伝搬を低減する。
  論文  参考訳（メタデータ） (2023-12-06T06:37:24Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• Few-Shot Cross-Lingual TTS Using Transferable Phoneme Embedding [55.989376102986654]
  本稿では,言語間テキスト-音声間問題に対処するための移動可能な音素埋め込みフレームワークについて,数ショット設定で検討する。 本稿では,音素ベースのTSモデルと,異なる言語からの音素を学習潜在空間に投影するコードブックモジュールからなるフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-27T11:24:40Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement [23.933935913913043]
  本稿では,SEモデルの訓練を考慮に入れたPFPL( Phone-fortified Perceptual Los)を提案する。 音声情報を効果的に組み込むために、wav2vecモデルの潜在表現に基づいてPFPLを演算する。 実験の結果,PFPLは信号レベルの損失に比べて知覚的評価指標と相関することがわかった。
  論文  参考訳（メタデータ） (2020-10-28T18:34:28Z)
• Decoupling Pronunciation and Language for End-to-end Code-switching Automatic Speech Recognition [66.47000813920617]
  本稿では,モノリンガルペアデータと未ペアテキストデータを利用するデカップリング変換器モデルを提案する。 モデルはA2P(Audio-to-phoneme)ネットワークとP2T(P2T)ネットワークの2つの部分に分けられる。 モノリンガルデータと未ペアテキストデータを使用することで、分離されたトランスフォーマーモデルは、E2Eモデルのコードスイッチングペアリングトレーニングデータへの高依存性を低減する。
  論文  参考訳（メタデータ） (2020-10-28T07:46:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。