論文の概要: PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech
- arxiv url: http://arxiv.org/abs/2604.25476v1
- Date: Tue, 28 Apr 2026 10:28:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-29 16:49:17.819165
- Title: PSP: An Interpretable Per-Dimension Accent Benchmark for Indic Text-to-Speech
- Title(参考訳): PSP:Indic Text-to-Speechのための解釈可能な1次元アクセントベンチマーク
- Authors: Venkata Pushpak Teja Menta,
- Abstract要約: 音素置換プロファイル(Phonme Substitution Profile)は、Indic TTSの音素単位のアクセントベンチマークである。
PSPはアクセントを6つの相補的次元に分解する: 反射崩壊率(RR)、吸入フィデリティ(AF)、母音長フィデリティ(ZF)、フレシェオーディオ距離(FAD)、韻律的シグネチャディペンデンス(PSD)。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Standard text-to-speech (TTS) evaluation measures intelligibility (WER, CER) and overall naturalness (MOS, UTMOS) but does not quantify accent. A synthesiser may score well on all four yet sound non-native on features that are phonemic in the target language. For Indic languages, these features include retroflex articulation, aspiration, vowel length, and the Tamil retroflex approximant (letter zha). We present PSP, the Phoneme Substitution Profile, an interpretable, per-phonological-dimension accent benchmark for Indic TTS. PSP decomposes accent into six complementary dimensions: retroflex collapse rate (RR), aspiration fidelity (AF), vowel-length fidelity (LF), Tamil-zha fidelity (ZF), Frechet Audio Distance (FAD), and prosodic signature divergence (PSD). The first four are measured via forced alignment plus native-speaker-centroid acoustic probes over Wav2Vec2-XLS-R layer-9 embeddings; the latter two are corpus-level distributional distances. In this v1 we benchmark four commercial and open-source systems (ElevenLabs v3, Cartesia Sonic-3, Sarvam Bulbul, Indic Parler-TTS) on Hindi, Telugu, and Tamil pilot sets, with a fifth system (Praxy Voice) included on all three languages, plus an R5->R6 case study on Telugu. Three findings: (i) retroflex collapse grows monotonically with phonological difficulty Hindi < Telugu < Tamil (~1%, ~40%, ~68%); (ii) PSP ordering diverges from WER ordering -- commercial WER-leaders do not uniformly lead on retroflex or prosodic fidelity; (iii) no single system is Pareto-optimal across all six dimensions. We release native reference centroids (500 clips per language), 1000-clip embeddings for FAD, 500-clip prosodic feature matrices for PSD, 300-utterance golden sets per language, scoring code under MIT, and centroids under CC-BY. Formal MOS-correlation is deferred to v2; v1 reports five internal-consistency signals plus a native-audio sanity check.
- Abstract(参考訳): 標準テキスト音声(TTS)評価は、インテリジェンス(WER, CER)と全体的な自然性(MOS, UTMOS)を測定するが、アクセントを定量化しない。
シンセサイザーは、ターゲット言語で音素的な特徴について、4つの音の全てによくスコアを付けることができる。
Indic言語では、これらの特徴には、反射調音、吸音、母音の長さ、およびタミル反射近似(letter zha)が含まれる。
本稿では,PSP,Phoneme Substitution Profile,Indic TTSの音韻・音韻・音韻・音韻・音韻のアクセント・ベンチマークについて述べる。
PSPはアクセントを6つの相補的な次元に分解する: 反射崩壊率(RR)、吸入フィデリティ(AF)、母音長フィデリティ(LF)、タミルジャフィデリティ(ZF)、フレシェ・オーディオ・ディスタンス(FAD)、韻律的シグネチャディペンデンス(PSD)。
最初の4つは、強制アライメントと、Wav2Vec2-XLS-R層上のネイティブスピーカー・セントロイド音響プローブによって測定され、後者の2つは、コーパスレベルの分布距離である。
このv1では、Hindi、Telugu、Tamilのパイロットセット上に4つの商用およびオープンソースシステム(ElevenLabs v3、Cartesia Sonic-3、Sarvam Bulbul、Indic Parler-TTS)をベンチマークします。
3つの発見がある。
(i) 反射崩壊はHindi < Telugu < Tamil (~1%, ~40%, ~68%)とともに単調に増大する。
(ii) PSP 命令は WER 命令から発せられる -- 商業用 WER リーダーは、反射性又は韻律的忠実性に一様ではない。
(三)六次元にまたがるパレート最適系は存在しない。
ネイティブ参照セントロイド(言語毎500クリップ)、FAD用1000クリップ埋め込み、PSD用500クリップ韻律特徴行列、言語毎300発のゴールデンセット、MITによるスコアコード、CC-BYによるセントロイドをリリースする。
形式的MOS相関はv2と推定され、v1は5つの内部整合性信号とネイティブオーディオの健全性チェックを報告している。
関連論文リスト
- Praxy Voice: Voice-Prompt Recovery + BUPS for Commercial-Class Indic TTS from a Frozen Non-Indic Base at Zero Commercial-Training-Data Cost [0.0]
商用TTSシステムは、ほぼネイティブなIndicオーディオを生成するが、最良のオープンソースベースは、測定された音韻次元でそれらを追従する。
私たちは、Telugu、Tamil、Hindiの商用クラスアウトプットにこのような非インデックスネイティブベースをもたらす、最小限の介入は、どのようなものなのでしょうか?
BUPS(Brahmic Unified Phoneme Space)は7つのIndicスクリプトを決定論的にISO-15919にロマライズし、Chatterboxのラテントークンサがそれらを処理できるようにする。
論文 参考訳(メタデータ) (2026-04-28T09:50:01Z) - Omnilingual SONAR: Cross-Lingual and Cross-Modal Sentence Embeddings Bridging Massively Multilingual Text and Speech [61.759910921200834]
言語間の文エンコーダは通常、数百の言語をカバーしている。
我々はOmniSONARを紹介した。OmniSONARは全言語、言語横断、言語横断の文埋め込みモデルである。
論文 参考訳(メタデータ) (2026-03-17T14:47:35Z) - Bolbosh: Script-Aware Flow Matching for Kashmiri Text-to-Speech [2.00542420408131]
カシミリ語は700万人ほどが話しているが、音声技術には批判的だ。
Kashmiri用に設計された,オープンソースのニューラルネットワークシステムについて紹介する。
論文 参考訳(メタデータ) (2026-03-08T07:34:15Z) - Simultaneous Speech-to-Speech Translation Without Aligned Data [52.467808474293605]
同時音声翻訳では、ソース音声を対象言語にリアルタイムで翻訳する必要がある。
単語レベルのアライメントを完全に不要にするヒビキゼロを提案する。
Hibiki-Zeroは5つのX-英語タスクの翻訳精度、レイテンシ、音声転送、自然性において最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-02-11T17:41:01Z) - A Bridge from Audio to Video: Phoneme-Viseme Alignment Allows Every Face to Speak Multiple Languages [60.81571443992153]
音声による会話顔合成(TFS)は、音声入力から顔のアニメーションを生成することに焦点を当てている。
現在のモデルは英語ではうまく機能するが、英語以外の言語では不満足に機能し、間違った口の形と堅い表情を生み出している。
我々は,Phoneme-Guided Mixture-of-Expertsアーキテクチャを特徴とする新しいフレームワークであるMultilingual Experts (MuEx)を提案する。
論文 参考訳(メタデータ) (2025-10-08T03:46:39Z) - Towards Inclusive Communication: A Unified Framework for Generating Spoken Language from Sign, Lip, and Audio [52.859261069569165]
音声テキスト生成のための手話,唇の動き,音声の多様な組み合わせを扱える最初の統一フレームワークを提案する。
i)不均一な入力を効果的に処理できる統一されたモダリティ非依存アーキテクチャの設計、(ii)モダリティ間の過小評価された相乗効果の探索、特に手話理解における非手動的手がかりとしての唇運動の役割、(iii)個々のタスクに特化した最先端モデルと同等以上のパフォーマンスを達成すること、の3つの目的に焦点をあてる。
論文 参考訳(メタデータ) (2025-08-28T06:51:42Z) - Optimizing Multilingual Text-To-Speech with Accents & Emotions [0.0]
本稿では,アクセントを付加した新しいTSアーキテクチャを提案する。
本稿では,言語固有の音素アライメント型エンコーダ-デコーダアーキテクチャを統合することで,Parler-TTSモデルを拡張した。
テストでは、アクセント精度が23.7%改善し、ネイティブリスナーによる感情認識精度が85.3%向上した。
論文 参考訳(メタデータ) (2025-06-19T13:35:05Z) - Phonology-Guided Speech-to-Speech Translation for African Languages [2.7624021966289605]
音声合成のための韻律誘導フレームワーク(S2ST)を提案する。
Emphwithin-phylum言語対は30-40%低停止,3$times$以上のオンセット/オフセット相関を示した。
また、人間の判断と強く相関する3層無転写BLEUスイート(M1-M3)もリリースしています。
論文 参考訳(メタデータ) (2024-10-30T09:44:52Z) - Universal Phone Recognition with a Multilingual Allophone System [135.2254086165086]
言語に依存しない音素分布と言語に依存しない音素分布の連成モデルを提案する。
11言語での多言語ASR実験では、このモデルにより2%の音素誤り率でテスト性能が向上することがわかった。
我々の認識器は17%以上の精度向上を実現し、世界中のすべての言語で音声認識に一歩近づいた。
論文 参考訳(メタデータ) (2020-02-26T21:28:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。