論文の概要: Closed-Loop Dual-Reference Guidance for Accent Control in Cross-Lingual Voice Cloning

• arxiv url: http://arxiv.org/abs/2610.29351v1
• Date: Wed, 21 Oct 2026 07:46:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.27907
• Title: Closed-Loop Dual-Reference Guidance for Accent Control in Cross-Lingual Voice Cloning
• Title（参考訳）: 言語間音声対話におけるアクセント制御のための閉ループデュアル参照誘導
• Abstract要約: 言語間音声のクローニングは、しばしば参照話者のアクセントを対象言語に伝達する。 音声変換によって構築された再利用可能なネイティブアンカーと、元の参照とを組み合わせた閉ループ二重参照ガイダンスを提案する。
• 参考スコア（独自算出の注目度）: 6.917013367604684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Zero-shot cross-lingual voice cloning often carries the reference speaker's accent into the target language. We propose closed-loop dual-reference guidance, which pairs the original reference with a reusable native anchor constructed by voice conversion (VC). The references initialize separate language-model (LM) states that guide a shared acoustic trajectory; each completed patch then updates both states, keeping their generated histories aligned with the emitted speech. Anchor construction runs once per speaker, and online synthesis uses a frozen TTS model without per-utterance VC. On 20 held-out French speakers, the fixed setting $λ^{\!*}=0.33$ reduces residual French LID mass by 73\% versus direct cloning, at an ECAPA similarity cost of only $0.042$; relative to anchor-only cloning, it recovers $0.155$. The method achieves the lowest mean WER ($0.009$) and highest mean GOP ($4.750$) among the held-out test arms. In blinded preference tests, native-English listeners favor it over direct cloning on pronunciation naturalness, and over both anchor-only cloning and a TTS$\to$VC cascade on speaker identity. Online RTF is approximately 26\% lower than the cascade's ($0.59$ vs.\ $0.80$), and the same setting reduces Spanish LID mass by 56\% without re-tuning.
• Abstract（参考訳）: ゼロショットの言語間音声クローンは、しばしば基準話者のアクセントを対象言語に伝達する。 音声変換(VC)によって構築された再利用可能なネイティブアンカーと、元の参照とを組み合わせた閉ループ二重参照ガイダンスを提案する。 参照は異なる言語モデル(LM)を初期化し、共有された音響軌跡を導く。 Anchorの構築はスピーカー毎に1回実行され、オンライン合成では、発話VCを使わずに凍ったTSモデルを使用する。 フランス語話者20人に対して、固定設定はλ^{\! *}=0.33$ はフランスの残量 LID 質量を 73 % に減らし、ECAPA の類似コストは 0.042$ に過ぎず、アンカーのみのクローンに比べて0.155$ に回復する。 この方法は、ホールドアウトテストアームの中で最低平均のWER(0.009ドル)と最高平均のGOP(4.750ドル)を達成する。 ブラインドされた選好テストでは、ネイティブ・イングリッシュ・リスナーは発音の自然性を直接クローンすることよりも、アンカーのみのクローンと話者識別に関するTS$\to$VCカスケードを優先する。 オンラインRTFは、カスケード(0.59ドル対)よりも約26\%低い。 同じ設定で、スペイン語の LID 質量は再調整せずに 56 % 削減される。

関連論文リスト

• Accent Analogy Guidance: More Speaker Similarity at Equal Accent in Cross-Lingual Voice Cloning [0.8594140167290097]
  我々はアクセント類似誘導(AAG)を提案する。 AAGは、モデル自身の予測から推定されるアクセント方向を、両方の言語で描画された1つの合成音声に対して減算する。 我々はその曲線上の話者類似度を等アクセントで評価する。
  論文  参考訳（メタデータ） (2026-09-24T06:58:26Z)
• Component-Aware Differential Privacy for Federated Multilingual Speech-LLMs [43.01574038234673]
  層ごとの差分プライバシー(DP)クリッピングは、パラメータ数に比例した行列ごとのクリッピング予算を割り当てることで、フェデレートラーニングにおける勾配忠実度を向上させる。 このレシピは音声大言語モデル(音声-LLM)において,音声エンコーダと言語デコーダが更新ノルムの桁違いに異なる場合に破られることを示す。
  論文  参考訳（メタデータ） (2026-09-10T16:17:19Z)
• Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder [14.769480661437774]
  14言語をサポートするゼロショット音声合成システムConfucius4-TTSを提案する。 音声プロンプトの書き起こしを必要とせず、言語内および言語間参照クローンを実行する。 公開ベンチマークにおいて高い知性と話者類似性を実現する。
  論文  参考訳（メタデータ） (2026-08-12T04:48:29Z)
• TRADE: Transducer-Augmented Decoder for Speech LLM [52.69726809996728]
  音声大言語モデル(Speech LLM)は、ストリーミング推論の原理的なメカニズムを欠いている。 音声エンコーダを共有するトランスデューサブランチでマルチモーダルLLMを増強するTRADE TRansducer-Augmented DEcoderを提案する。 3つの設計上の選択により、システムは正確で、ストリーミング可能で、長い形にすることができる。
  論文  参考訳（メタデータ） (2026-06-07T07:15:34Z)
• KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026 [61.29502937013759]
  言語間音声のクローニングは、ソース言語参照から話者識別を保ちながら、ターゲット言語で音声を生成することを目的としている。 鍵となる課題は、アクセントの変化とドメイン固有の語彙の存在において、知性と自然性を維持することである。 我々は、多言語テキスト音声モデル、FishAudio-S2-Proを構築し、言語制御を改善しアクセントリークを低減するために、言語タグプロンプトを導入する。
  論文  参考訳（メタデータ） (2026-06-05T13:09:21Z)
• Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
  音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。 8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。 FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
  論文  参考訳（メタデータ） (2026-06-02T07:01:33Z)
• X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning [62.740127542449166]
  X-Voiceは、任意の音声をクローンし、誰でも30の言語を話せる多言語ゼロショット音声クローンモデルである。 X-Voiceは国際音声アルファベット(IPA)を統一表現として420K時間多言語コーパスで訓練されている。
  論文  参考訳（メタデータ） (2026-05-07T02:57:53Z)
• LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation [0.0]
  話者エンコーダは、音声が発声されたスクリプトに関係なく、同じ話者を同一に扱うべきである。 オフザシェルフエンコーダは使用せず、失敗はアクセント条件である。 凍結したWavLMベースプラスを2つの損失で訓練した小型プロジェクションヘッドであるLASEを提示する。
  論文  参考訳（メタデータ） (2026-05-01T16:46:25Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• Latent linguistic embedding for cross-lingual text-to-speech and voice conversion [44.700803634034486]
  言語間音声生成は、話者が話さない言語において、ターゲット話者の声で発話が生成されるシナリオである。 提案手法は, 話者類似度の高い多言語VCを生成するだけでなく, 余分なステップを踏むことなく, TTSをシームレスに利用できることを示す。
  論文  参考訳（メタデータ） (2020-10-08T01:25:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。