論文の概要: RephraseTTS: Dynamic Length Text based Speech Insertion with Speaker Style Transfer

• arxiv url: http://arxiv.org/abs/2508.17031v1
• Date: Sat, 23 Aug 2025 14:12:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.307266
• Title: RephraseTTS: Dynamic Length Text based Speech Insertion with Speaker Style Transfer
• Title（参考訳）: RephraseTTS:話者スタイル転送による動的長文音声挿入
• Authors: Neeraj Matiyali, Siddharth Srivastava, Gaurav Sharma,
• Abstract要約: そこで本研究では,対応する全文書き起こしを条件としたテキスト条件付き音声挿入作業を提案する。 提案手法は,可変長の音声挿入が可能な変圧器に基づく非自己回帰手法に従う。 実験結果とLibriTTSのユーザスタディにより,既存の適応テキストから音声への変換法に基づくベースラインよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 12.50170974080313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method for the task of text-conditioned speech insertion, i.e. inserting a speech sample in an input speech sample, conditioned on the corresponding complete text transcript. An example use case of the task would be to update the speech audio when corrections are done on the corresponding text transcript. The proposed method follows a transformer-based non-autoregressive approach that allows speech insertions of variable lengths, which are dynamically determined during inference, based on the text transcript and tempo of the available partial input. It is capable of maintaining the speaker's voice characteristics, prosody and other spectral properties of the available speech input. Results from our experiments and user study on LibriTTS show that our method outperforms baselines based on an existing adaptive text to speech method. We also provide numerous qualitative results to appreciate the quality of the output from the proposed method.
• Abstract（参考訳）: そこで本研究では, 音声サンプルを入力音声サンプルに挿入し, 対応する全文書き起こしを条件としたテキスト調和音声挿入作業を提案する。 タスクの例では、対応するテキストの書き起こしに対して修正が行われたときに音声を更新する。 提案手法は,可変長の音声挿入が可能なトランスフォーマーに基づく非自己回帰的手法であり,テキストの書き起こしと部分入力のテンポに基づいて,推論中に動的に決定される。 利用可能な音声入力の話者の音声特性、韻律、その他のスペクトル特性を維持することができる。 実験結果とLibriTTSのユーザスタディにより,既存の適応テキストから音声への変換法に基づくベースラインよりも優れた性能を示した。 また,提案手法の出力の質を評価するために,多くの定性的な結果も提供する。

関連論文リスト

• InSerter: Speech Instruction Following with Unsupervised Interleaved Pre-training [23.330297074014315]
  本稿では,Interleaved Speech-Text Representation Pre-trainingの略であるInSerterという,シンプルでスケーラブルなトレーニング手法を提案する。 InSerterは、大規模な教師なし音声テキストシーケンスを事前訓練するために設計されており、テキストから音声への変換を用いて、広範テキストコーパスのランダムに選択されたセグメントから音声を合成する。 提案したInSerterは、SpeechInstructBenchにおけるSOTA性能を実現し、多様な音声処理タスクにおいて、優れた、あるいは競争的な結果を示す。
  論文  参考訳（メタデータ） (2025-03-04T16:34:14Z)
• EmphAssess : a Prosodic Benchmark on Assessing Emphasis Transfer in Speech-to-Speech Models [25.683827726880594]
  EmphAssessは,音声合成モデルの韻律強調を符号化し再現する能力を評価するためのベンチマークである。 音声合成と音声合成の2つの課題に適用する。 どちらの場合も、ベンチマークは、モデルが音声入力の強調を符号化し、出力で正確に再現する能力を評価する。 評価パイプラインの一部として、フレームや単語レベルで強調を分類する新しいモデルであるEmphaClassを紹介する。
  論文  参考訳（メタデータ） (2023-12-21T17:47:33Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Unified Speech-Text Pre-training for Speech Translation and Recognition [113.31415771943162]
  音声認識のためのエンコーダ・デコーダ・モデリング・フレームワークにおいて,音声とテキストを協調的に事前学習する手法について述べる。 提案手法は,4つの自己教師付きサブタスクを組み込んだクロスモーダル学習手法である。 MuST-C音声翻訳データセットの最先端よりも1.7から2.3BLEUの改善が達成されている。
  論文  参考訳（メタデータ） (2022-04-11T20:59:51Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• On Prosody Modeling for ASR+TTS based Voice Conversion [82.65378387724641]
  音声変換において、最新の音声変換チャレンジ(VCC)2020における有望な結果を示すアプローチは、まず、ソース音声を基礎となる言語内容に書き起こすために、自動音声認識(ASR)モデルを使用することである。 このようなパラダイムはASR+TTSと呼ばれ、音声の自然性と変換の類似性において重要な役割を果たす韻律のモデル化を見落としている。 本稿では,ターゲットテキスト予測(TTP)と呼ばれる,ターゲット話者に依存した言語表現から直接韻律を予測することを提案する。
  論文  参考訳（メタデータ） (2021-07-20T13:30:23Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。