論文の概要: Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing

• arxiv url: http://arxiv.org/abs/2501.00804v1
• Date: Wed, 01 Jan 2025 11:10:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:13:13.553349
• Title: Automatic Text Pronunciation Correlation Generation and Application for Contextual Biasing
• Title（参考訳）: テキストの発音相関自動生成と文脈バイアスへの応用
• Authors: Gaofeng Cheng, Haitian Lu, Chengxu Yang, Xuyang Wang, Ta Li, Yonghong Yan,
• Abstract要約: 本稿では,自動テキスト発音相関(ATPC)という,発音相関を自動的に取得するデータ駆動手法を提案する。 マンダリンの実験結果から,ATPCはコンテキストバイアス下でのE2E-ASR性能を向上させることが示された。
• 参考スコア（独自算出の注目度）: 17.333427709985376
• License:
• Abstract: Effectively distinguishing the pronunciation correlations between different written texts is a significant issue in linguistic acoustics. Traditionally, such pronunciation correlations are obtained through manually designed pronunciation lexicons. In this paper, we propose a data-driven method to automatically acquire these pronunciation correlations, called automatic text pronunciation correlation (ATPC). The supervision required for this method is consistent with the supervision needed for training end-to-end automatic speech recognition (E2E-ASR) systems, i.e., speech and corresponding text annotations. First, the iteratively-trained timestamp estimator (ITSE) algorithm is employed to align the speech with their corresponding annotated text symbols. Then, a speech encoder is used to convert the speech into speech embeddings. Finally, we compare the speech embeddings distances of different text symbols to obtain ATPC. Experimental results on Mandarin show that ATPC enhances E2E-ASR performance in contextual biasing and holds promise for dialects or languages lacking artificial pronunciation lexicons.
• Abstract（参考訳）: 異なるテキスト間の発音相関を効果的に区別することは、言語音響学において重要な問題である。 伝統的に、このような発音相関は手動で設計した発音レキシコンによって得られる。 本稿では, 自動テキスト発音相関(ATPC)と呼ばれる, これらの発音相関を自動的に取得するデータ駆動手法を提案する。 この手法に必要な監督は、エンドツーエンドの自動音声認識(E2E-ASR)システム、すなわち音声および対応するテキストアノテーションの訓練に必要な監督と一致している。 まず、反復訓練されたタイムスタンプ推定器(ITSE)アルゴリズムを用いて、音声を対応する注釈付きテキストシンボルと整列させる。 そして、音声エンコーダを用いて、音声を音声埋め込みに変換する。 最後に、異なるテキストシンボルの音声埋め込み距離を比較して、ATPCを得る。 マンダリンの実験結果によると、ATPCは文脈偏見においてE2E-ASR性能を高め、人工発音辞書を欠いた方言や言語を約束する。

関連論文リスト

• Algorithms For Automatic Accentuation And Transcription Of Russian Texts In Speech Recognition Systems [0.0]
  本稿では,ロシア語テキストの自動アクセント化と音韻転写のためのルールベースシステムの概要について述べる。 開発したシステムの2つの部分、アクセントと文字起こしは、入力句の正しい音韻表現を実現するために異なるアプローチを用いている。 開発ツールキットはPython言語で書かれており、興味のある研究者はGitHubからアクセスできる。
  論文  参考訳（メタデータ） (2024-10-03T14:43:43Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• IPA-CLIP: Integrating Phonetic Priors into Vision and Language Pretraining [8.129944388402839]
  本稿では,コントラスト言語-画像事前学習(CLIP)に先行音声を挿入する。 IPA-CLIPはこの発音エンコーダと元のCLIPエンコーダ(画像とテキスト)からなる。
  論文  参考訳（メタデータ） (2023-03-06T13:59:37Z)
• A Textless Metric for Speech-to-Speech Comparison [20.658229254191266]
  テキストの書き起こしに頼らずに音声の発話を比較するための,新しい,シンプルな手法を提案する。 我々は,HuBERTのような最先端の音声2ユニットエンコーダを用いて,音声の発話を離散音響単位に変換する。
  論文  参考訳（メタデータ） (2022-10-21T09:28:54Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Automatic Prosody Annotation with Pre-Trained Text-Speech Model [48.47706377700962]
  本稿では,事前学習した音声エンコーダを用いたニューラルテキスト音声モデルを用いて,テキストオーディオデータから韻律境界ラベルを自動的に抽出する。 このモデルは、テキストデータと音声データに個別に事前訓練され、TTSデータを三重奏形式(音声、テキスト、韻律)で微調整する。
  論文  参考訳（メタデータ） (2022-06-16T06:54:16Z)
• Dict-TTS: Learning to Pronounce with Prior Dictionary Knowledge for Text-to-Speech [88.22544315633687]
  ポリホンの曖昧さは, 音声合成システムにおいて, 自然なテキストシーケンスから正確な発音知識を抽出することを目的としている。 オンラインウェブサイト辞書を用いた意味認識型テキスト音声合成モデルであるDict-TTSを提案する。 3つの言語による実験結果から,我々のモデルは発音精度においていくつかの強いベースラインモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-05T10:50:34Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。