論文の概要: LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation
- arxiv url: http://arxiv.org/abs/2605.00777v1
- Date: Fri, 01 May 2026 16:46:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:29.017059
- Title: LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation
- Title(参考訳): LASE: 対話型クロススクリプトID保存のための言語対応話者符号化
- Authors: Venkata Pushpak Teja Menta,
- Abstract要約: 話者エンコーダは、音声が発声されたスクリプトに関係なく、同じ話者を同一に扱うべきである。
オフザシェルフエンコーダは使用せず、失敗はアクセント条件である。
凍結したWavLMベースプラスを2つの損失で訓練した小型プロジェクションヘッドであるLASEを提示する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A speaker encoder used in multilingual voice cloning should treat the same speaker identically regardless of which script the audio was uttered in. Off-the-shelf encoders do not, and the failure is accent-conditional. On a 1043-pair Western-accented voice corpus across English, Hindi, Telugu, and Tamil, WavLM-base-plus-sv loses 0.082 absolute cosine similarity when the same voice changes script and ECAPA-TDNN loses 0.105. On a 1369-pair Indian-accented voice corpus, the gap shrinks to 0.006 (WavLM-SV) and 0.044 (ECAPA-TDNN). The leak is largest where it matters most for cross-script TTS: when a system projects a non-Indic-trained voice into Indic scripts. We present LASE (Language-Adversarial Speaker Encoder), a small projection head over frozen WavLM-base-plus trained with two losses: a supervised contrastive loss over voice identity, and a gradient-reversal cross-entropy against a 4-language classifier that pushes the embedding to be language-uninformative while remaining speaker-informative. Trained on 1118 quality-gated cross-script pairs synthesised from 8 commercial multilingual voices, LASE's residual gap is consistent with zero on both corpora (Delta = 0.013 Western, Delta = 0.026 Indian; both bootstrap 95% CIs include zero) and amplifies the cross-script-vs-floor margin 2.4-2.7x over both baselines. An ECAPA+GRL ablation shows the GRL objective improves either backbone but the WavLM choice contributes too. In synthetic multi-speaker diarisation, LASE matches ECAPA-TDNN on cross-script speaker recall (0.788 vs 0.789) with ~100x less training data. We release the r1 checkpoint, both corpora, and the bootstrap recipe.
- Abstract(参考訳): 多言語音声クローニングで使用される話者エンコーダは、音声が発声されたスクリプトに関わらず、同一の話者を扱わなければならない。
オフザシェルフエンコーダは使用せず、失敗はアクセント条件である。
1043年、英語、ヒンディー語、テルグ語、タミル語にまたがる西洋風の音声コーパスにおいて、WavLM-base-plus-svは、同一の音声変換スクリプトとECAPA-TDNNが0.105を失うと0.082の絶対コサイン類似性を失う。
1369対のインドアクセント音声コーパスでは、ギャップは0.006(WavLM-SV)と0.044(ECAPA-TDNN)に縮小する。
システムは、Indicで訓練されていない音声をIndicスクリプトに投影する。
本稿では,LASE (Language-Adversarial Speaker Encoder) と,LASE (Language-Adversarial Speaker Encoder) と,LASE (Language-Adversarial Speaker Encoder) の2つの損失について検討した。
8つの商用多言語音声から合成された1118個の品質ゲートクロススクリプト対に基づいて訓練されたLASEの残差は、両方のコーポラ(Delta = 0.013 Western, Delta = 0.026 Indian; 両方のブートストラップ95% CIはゼロを含む)のゼロと一致し、両方のベースライン上のクロススクリプト-vs-フロアマージン2.4-2.7xを増幅する。
ECAPA+GRLアブレーションはGRLの目的がバックボーンの改善を示すが、WavLMの選択も寄与する。
合成マルチスピーカーダイアリゼーションにおいて、LASE は ECAPA-TDNN を (0.788 対 0.789) のクロススクリプト話者リコールと約100倍のトレーニングデータと照合する。
r1チェックポイント、コーポラ、ブートストラップのレシピをリリースします。
関連論文リスト
- Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost [0.0]
商用TTSシステムは、ほぼネイティブなIndicオーディオを生成するが、最良のオープンソースベースは、測定された音韻次元でそれらを追従する。
私たちは、Telugu、Tamil、Hindiの商用クラスアウトプットにこのような非インデックスネイティブベースをもたらす、最小限の介入は、どのようなものなのでしょうか?
BUPS(Brahmic Unified Phoneme Space)は7つのIndicスクリプトを決定論的にISO-15919にロマライズし、Chatterboxのラテントークンサがそれらを処理できるようにする。
論文 参考訳(メタデータ) (2026-04-28T09:50:01Z) - X-VC: Zero-shot Streaming Voice Conversion in Codec Space [68.11390597559101]
X-VCはゼロショットストリーミングVCシステムであり、事前訓練されたニューラルネットワークの潜在空間でワンステップ変換を行う。
X-VCは、英語と中国語の両方で最高のストリーミングWERを達成する。
論文 参考訳(メタデータ) (2026-04-14T08:42:10Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳(メタデータ) (2026-03-17T14:47:35Z) - Speech collage: code-switched audio generation by collaging monolingual
corpora [50.356820349870986]
Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。
2つのシナリオにおける音声認識における生成データの影響について検討する。
論文 参考訳(メタデータ) (2023-09-27T14:17:53Z) - On the Off-Target Problem of Zero-Shot Multilingual Neural Machine
Translation [104.85258654917297]
識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。
多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。
我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
論文 参考訳(メタデータ) (2023-05-18T12:43:31Z) - DeID-VC: Speaker De-identification via Zero-shot Pseudo Voice Conversion [0.0]
DeID-VCは、実際の話者を擬似話者に変換する話者識別システムである。
PSGの助けを借りて、DeID-VCは独自の擬似話者を話者レベルや発話レベルに割り当てることができる。
論文 参考訳(メタデータ) (2022-09-09T21:13:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。