論文の概要: StarVC: A Unified Auto-Regressive Framework for Joint Text and Speech Generation in Voice Conversion

• arxiv url: http://arxiv.org/abs/2506.02414v1
• Date: Tue, 03 Jun 2025 04:00:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.220251
• Title: StarVC: A Unified Auto-Regressive Framework for Joint Text and Speech Generation in Voice Conversion
• Title（参考訳）: StarVC: 音声変換における共同テキストと音声生成のための統合された自動回帰フレームワーク
• Authors: Fengjin Li, Jie Wang, Yadong Niu, Yongqing Wang, Meng Meng, Jian Luan, Zhiyong Wu,
• Abstract要約: 音声変換(VC)は、言語コンテンツを保存しながら、ターゲット話者にマッチするように音声を変更する。 本稿では,まず,音声特徴を合成する前にテキストトークンを予測する自動回帰VCフレームワークであるStarVCを提案する。
• 参考スコア（独自算出の注目度）: 16.188371599477648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Voice Conversion (VC) modifies speech to match a target speaker while preserving linguistic content. Traditional methods usually extract speaker information directly from speech while neglecting the explicit utilization of linguistic content. Since VC fundamentally involves disentangling speaker identity from linguistic content, leveraging structured semantic features could enhance conversion performance. However, previous attempts to incorporate semantic features into VC have shown limited effectiveness, motivating the integration of explicit text modeling. We propose StarVC, a unified autoregressive VC framework that first predicts text tokens before synthesizing acoustic features. The experiments demonstrate that StarVC outperforms conventional VC methods in preserving both linguistic content (i.e., WER and CER) and speaker characteristics (i.e., SECS and MOS). Audio demo can be found at: https://thuhcsi.github.io/StarVC/.
• Abstract（参考訳）: 音声変換(VC)は、言語コンテンツを保存しながら、ターゲット話者にマッチするように音声を変更する。 伝統的手法は通常、言語内容の明示的な利用を無視しながら、音声から直接話者情報を抽出する。 VCは基本的に言語コンテンツから話者アイデンティティを分離するので、構造化された意味的特徴を活用することで変換性能が向上する。 しかし、それまでのVCへのセマンティック機能の導入の試みは、明示的なテキストモデリングの統合を動機として、効果が限られていた。 本稿では,まず,音声特徴を合成する前にテキストトークンを予測する自動回帰VCフレームワークであるStarVCを提案する。 実験の結果,StarVCは従来のVC手法よりも,言語内容(WERとCER)と話者特性(SECSとMOS)の両面で優れていた。 オーディオのデモは、https://thuhcsi.github.io/StarVC/.comで見ることができる。

関連論文リスト

• SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought [12.54786997634534]
  本研究は,S2STのための単一言語モデルであるSeamlessExpressiveLMを提案する。 我々は、複雑なソースからターゲットへの音声マッピングを、チェーン・オブ・シークレット・プロンプトで中間生成ステップに分解する。 モデルはまずターゲットのセマンティックコンテンツを翻訳し、次に話者スタイルをマルチストリーム音響ユニットに転送する。
  論文  参考訳（メタデータ） (2024-05-30T18:28:31Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice Conversion [63.346825713704625]
  テキスト音声変換(TTS, Text-to-Speech)と音声変換(VC)は2つの異なるタスクであり, 音質の異なる音質で音声を合成することを目的としている。 本稿では,TSとVCを統合フレームワークに初めて導入するUnifySpeechを提案する。
  論文  参考訳（メタデータ） (2023-01-10T06:06:57Z)
• SpeechLM: Enhanced Speech Pre-Training with Unpaired Textual Data [100.46303484627045]
  本稿では,事前定義した統一表現と音声とテキストの事前学習を協調させるクロスモーダル音声言語モデル(SpeechLM)を提案する。 具体的には、音声とテキストのモダリティをブリッジするために、2つの別の離散トークン化器を導入する。 音声認識, 音声翻訳, ユニバーサル表現評価フレームワーク SUPERB など, 様々な音声言語処理タスクにおける音声LM の評価を行った。
  論文  参考訳（メタデータ） (2022-09-30T09:12:10Z)
• Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion [42.43123253495082]
  単一の話者の発話しか参照できないワンショット音声変換(VC)がホットな研究トピックとなっている。 我々は、ピッチとコンテントエンコーダのランダムな再サンプリングを採用し、音声成分をアンタングルにするために、相互情報の差分対数比上限を用いる。 VCTKデータセットの実験では、自然性とインテリジェンスの観点から、ワンショットVCの最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-08-18T10:36:27Z)
• HiFi-VC: High Quality ASR-Based Voice Conversion [0.0]
  音声変換パイプラインを新たに提案する。 提案手法では,音声認識機能,ピッチ追跡,最先端波形予測モデルを用いる。
  論文  参考訳（メタデータ） (2022-03-31T10:45:32Z)
• V2C: Visual Voice Cloning [55.55301826567474]
  我々はVisual Voice Cloning (V2C) という新しいタスクを提案する。 V2Cは、参照音声によって特定された所望の音声と、参照ビデオによって特定された所望の感情の両方で、テキストの段落を音声に変換する。 私たちのデータセットには、さまざまなジャンルをカバーする10,217本のアニメーション映画クリップが含まれています。
  論文  参考訳（メタデータ） (2021-11-25T03:35:18Z)
• StarGAN-VC+ASR: StarGAN-based Non-Parallel Voice Conversion Regularized by Automatic Speech Recognition [23.75478998795749]
  モデル学習を支援するために自動音声認識を提案する。 本稿では,提案手法を用いることで,Vanilla StarGAN-VCよりも言語情報を保持できることを示す。
  論文  参考訳（メタデータ） (2021-08-10T01:18:31Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Voicy: Zero-Shot Non-Parallel Voice Conversion in Noisy Reverberant Environments [76.98764900754111]
  音声変換(Voice Conversion, VC)は, 音源発話の非言語情報を変換し, 話者の同一性を変化させることを目的とした技術である。 我々は、特に騒々しいスピーチに適した新しいVCフレームワークであるVoicyを提案する。 自動エンコーダフレームワークにインスパイアされた本手法は,4つのエンコーダ(スピーカ,コンテンツ,音声,音響-ASR)と1つのデコーダから構成される。
  論文  参考訳（メタデータ） (2021-06-16T15:47:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。