論文の概要: Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning
- arxiv url: http://arxiv.org/abs/2611.13845v1
- Date: Tue, 10 Nov 2026 10:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.776592
- Title: Alania-2: Turkish text-to-speech with instant and fine-tuned voice cloning
- Title(参考訳): Alania-2:トルコ語による音声音声合成
- Abstract要約: アラニア-2 (Alania-2) はトルコの音声合成システムである。
我々は、トルコ語18,195時間のスピーチをゼロからトレーニングし、その90%は、より大きな教師モデルによって生成され、自動的にフィルタリングされる合成音声である。
Freya-TR-Evalでは、自動音声認識による495のトルコ語文の公開ベンチマークを行い、Alania-2は従来の5.99%に比べて1.44%の単語誤り率に達した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Alania-2, a Turkish text-to-speech (TTS) system with two built-in voices, voice design from text descriptions, and two kinds of voice cloning. Alania-2 is a 488M-parameter model with the VoxCPM architecture, which generates continuous audio latents with a diffusion head on top of a language-model backbone. We train it from scratch on 18,195 hours of Turkish speech, 90% of which is synthetic speech produced by a larger teacher model and filtered automatically. A text normalizer rewrites numbers, abbreviations and foreign names into the words a Turkish speaker would say; without it, none of 96 test sentences with digits kept all its critical parts, such as an amount or a date, through synthesis and speech recognition, against 86 with it. On Freya-TR-Eval, a public benchmark of 495 Turkish sentences scored with automatic speech recognition, Alania-2 reaches a word error rate of 1.44%, compared with 5.99% for our previous system. On its built-in voices, it comes within half a point of character error rate of a 2.3B-parameter model at under a quarter of the size, and a 7.6M-parameter single-voice model trained with the same recipe matches the most intelligible systems we measured, which suggests that training data matters more for intelligibility than model size. We also report practical findings on voice cloning: conditioning on the reference audio alone, rather than continuing it, cuts skipped words from 21.9% to 1.7%; 20-30 seconds of reference audio works best; and a low-rank adapter trained in about two minutes raises speaker similarity well above instant cloning. Finally, we describe inference-engine changes that bring first audio down to 32 ms for a single stream. We release our evaluation harness and three Turkish speech and text datasets.
- Abstract(参考訳): 本稿では,トルコ語による音声合成システムであるAlania-2について紹介する。
Alania-2はVoxCPMアーキテクチャを備えた488Mパラメータモデルであり、言語モデルバックボーン上に拡散ヘッドを持つ連続的なオーディオラテントを生成する。
我々は、トルコ語18,195時間のスピーチをゼロからトレーニングし、その90%は、より大きな教師モデルによって生成され、自動的にフィルタリングされる合成音声である。
テキスト正規化器は、数字、略語、外国語をトルコ語話者が言うような言葉に書き直しする;それなしでは、数字の96の試験文は、合成と音声認識を通じて、その重要な部分(量や日付など)を86に対して保持することはなかった。
Freya-TR-Evalでは、自動音声認識による495のトルコ語文の公開ベンチマークを行い、Alania-2は従来の5.99%に比べて1.44%の単語誤り率に達した。
内蔵音声では、2.3Bパラメータモデルのキャラクタエラー率を4分の1以下に抑え、同じレシピで訓練された7.6Mパラメータのシングルボイスモデルは、私たちが測定した最も知的なシステムと一致し、トレーニングデータがモデルサイズよりもインテリジェンスにとって重要であることを示唆している。
また,音声のクローン化に関する実践的な知見を報告する。参照音声を継続するのではなく,21.9%から1.7%に減らすこと,20~30秒の参照音声が最適に動作すること,約2分で訓練された低ランク適応が即時クローン化よりもはるかに高い話者類似性を高めること,などである。
最後に、単一ストリームに対して、最初のオーディオを32ミリ秒までダウンさせる推論エンジンの変更について述べる。
評価ハーネスと3つのトルコ語音声およびテキストデータセットをリリースする。
関連論文リスト
- Antalia-2 Mini: A 7.6-million-parameter Turkish text-to-speech model trained entirely on synthetic speech [0.0]
Antalia-2 Miniは7,620,931のパラメータを持つトルコの単声テキスト音声モデルである。
文字を読み、Apple M5ラップトップCPU(2スレッド)の41倍の速度で48kHzのオーディオを生成する。
論文 参考訳(メタデータ) (2026-11-10T09:41:21Z) - ufakzeka-kulak: Building and Evaluating a 31.6M-Parameter Turkish Speech Recognizer from Scratch [0.0]
ufakzeka-kulakは31.6Mパラメータのオープンなトルコ語音声テキストモデルである。
文字はトルコ語で句読まれ、数字は言葉で書かれている。
論文 参考訳(メタデータ) (2026-11-02T18:42:32Z) - Pronouncing Hard Words: Phoneme Adaptation of a Pretrained Conversational Text to Speech Model [50.335253821316805]
プレ/ミドルトレーニングなしで、事前訓練された会話型TSモデルに音素制御性を再現する。
臨床薬の発音評価では, 厳密なジェミニ・ジャッジドの正しさを54.6%から90.7%に引き上げた。
訓練段階が薬名を見ないため、評価全体がドメイン外であるため、学習した発音を記憶するよりも、学習した発音を反映する。
論文 参考訳(メタデータ) (2026-10-16T19:41:23Z) - Building a Production Greek-English Speech Recognizer [0.0]
ソフィア (Sophea) はギリシャ語と英語の自動音声認識システムである。
ギリシャ語と英語の単語誤り率,言語識別,幻覚を含む9つの生産ゲートに対して,非音声音声に対するシステムの評価を行った。
論文 参考訳(メタデータ) (2026-09-11T20:02:57Z) - Enhancing Speaker Verification with Whispered Speech via Post-Processing [1.8849814100256281]
本研究では,より頑健な発話障害に対する表現を得るための学習レシピを用いたモデルを提案する。
提案システムは、細調整された話者検証バックボーン上に構築されたエンコーダ-デコーダ構造を用いる。
また, 発声音声を用いた性能評価において, 最も人気があり, 最先端の話者検証モデルの要約も提供する。
論文 参考訳(メタデータ) (2026-04-22T06:23:40Z) - TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head
Translation [54.155138561698514]
音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。
既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。
本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
論文 参考訳(メタデータ) (2023-12-23T08:45:57Z) - SeamlessM4T: Massively Multilingual & Multimodal Machine Translation [90.71078166159295]
音声から音声への翻訳,音声からテキストへの翻訳,テキストからテキストへの翻訳,最大100言語の自動音声認識をサポートする単一モデルSeamlessM4Tを紹介する。
我々は、音声とテキストの両方に英語を翻訳できる最初の多言語システムを開発した。
FLEURSでは、SeamlessM4Tが複数のターゲット言語への翻訳の新しい標準を設定し、音声からテキストへの直接翻訳において、以前のSOTAよりも20%BLEUの改善を実現している。
論文 参考訳(メタデータ) (2023-08-22T17:44:18Z) - Textless Speech-to-Speech Translation With Limited Parallel Data [51.3588490789084]
PFBはテキストレスのS2STモデルをトレーニングするためのフレームワークで、数十時間の並列音声データしか必要としない。
3つのドメインで英語、ドイツ語、マラティー語、英語の翻訳をトレーニングし、評価する。
論文 参考訳(メタデータ) (2023-05-24T17:59:05Z) - Self-Supervised Speech Representations Preserve Speech Characteristics
while Anonymizing Voices [15.136348385992047]
我々は、自己教師付き音声表現を用いて、複数の音声変換モデルを訓練する。
変換音声は、元の音声の1%以内に低い単語誤り率を保持する。
調音・韻律・発声・音韻に関連する音声特徴を匿名音声から抽出できることを示す。
論文 参考訳(メタデータ) (2022-04-04T17:48:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。