論文の概要: SEAM: Spectral Embedding Alignment and Merging for Low-Resource TTS

• arxiv url: http://arxiv.org/abs/2610.26252v1
• Date: Mon, 19 Oct 2026 12:11:28 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:35:35.777254
• Title: SEAM: Spectral Embedding Alignment and Merging for Low-Resource TTS
• Title（参考訳）: SEAM:低リソースTSのためのスペクトル埋め込みアライメントとマージ
• Abstract要約: 未知のトークンの埋め込みを既知のサブトークンから構築するSEAMを紹介する。 SEAMはスペクトルフィルタを用いて時間音韻順序を保ち、閉形式のリッジレグレッションを用いて、新しい埋め込みを事前訓練された条件付き多様体と整列させる。 3つの言語と2つのTSアーキテクチャで、SEAMは最大4倍のトレーニングデータを使用してベースラインのパフォーマンスにアプローチまたはマッチする。
• 参考スコア（独自算出の注目度）: 3.8165253338024208
• License:
• Abstract: Expanding the vocabulary of conditional text-to-speech (TTS) models typically requires extensive fine-tuning with paired audio, creating a major bottleneck for low-resource and cross-lingual adaptation. To address this, we introduce SEAM, a zero-audio initialization method that constructs embeddings for unseen tokens from known subtokens. Unlike standard pooling strategies that ignore sequential structure, SEAM applies a spectral filter to preserve temporal phonetic order and uses closed-form ridge regression to align the new embeddings with the pretrained conditioning manifold. Across three languages and two TTS architectures, SEAM approaches or matches baseline performance using up to four times less training data, reducing sample complexity by 75\% compared to random initialization and mean pooling. Our approach provides a lightweight, reproducible, and theoretically grounded solution for vocabulary expansion in low-resource speech synthesis.
• Abstract（参考訳）: 条件付きテキスト音声(TTS)モデルの語彙を拡張するには、ペアオーディオによる広範囲な微調整が必要である。 この問題に対処するために、既知のサブトークンからの未確認トークンの埋め込みを構築するゼロオーディオ初期化手法SEAMを紹介する。 シーケンシャルな構造を無視する標準的なプール方式とは異なり、SEAMは時間的音順を保つためにスペクトルフィルタを適用し、新しい埋め込みを事前訓練された条件付き多様体と整列するためにクローズドフォームリッジレグレッションを使用する。 3つの言語と2つのTSアーキテクチャで、SEAMは最大4倍のトレーニングデータを使用してベースラインのパフォーマンスにアプローチまたは一致し、サンプルの複雑さをランダム初期化や平均プールと比較すると75%削減する。 提案手法は,低音源音声合成における語彙拡張のための軽量で再現性があり,理論的に基礎的なソリューションを提供する。

関連論文リスト

• Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling [52.02344262645619]
  本稿では,新しいトランス層を凍結テキストLLMに挿入し,付加層のみを音声データに基づいて訓練するマルチモーダル深さアップスケーリングを提案する。 SmolLM2-360MとSmolLM2-1.7Bによる48k時間の英語自動音声認識(ASR)データによる実験により、深度アップスケーリングは完全な微調整に匹敵するASRを実現することが示された。 さらに,テキストの劣化を75%以上低減し,トレーニング可能なパラメータを60%少なく抑えながら,大規模モデルの完全微調整に適合あるいは超越したASRを実現するために,音声認識用に設計されたアーキテクチャであるE-Branchformerを組み込むことが示される。
  論文  参考訳（メタデータ） (2026-04-01T05:16:06Z)
• Harmonizing the Arabic Audio Space with Data Scheduling [15.84874997729878]
  本稿では、アラビア語中心のLLMのためのマルチタスク・インストラクション・チューニングに関する最初の体系的研究について述べる。 我々はQwen2.5-Omni (7B) を微調整し、Aligner-Based Diverse Smpling (ADS) とともにタスクプログレッシブカリキュラム (TPC) を提案する。 ADSは初期収束を加速するが、その固有の勾配のボラティリティは、長期の訓練で生成的復号を不安定にすることができる。
  論文  参考訳（メタデータ） (2026-01-18T17:08:31Z)
• DiFlow-TTS: Discrete Flow Matching with Factorized Speech Tokens for Low-Latency Zero-Shot Text-To-Speech [8.537791317883576]
  Zero-shot Text-to-Speech (TTS) は、短い参照サンプルのみを用いて、目に見えない話者の声を模倣する高品質な音声を合成することを目的としている。 言語モデル,拡散,フローマッチングに基づく最近のアプローチは,ゼロショットTSにおいて有望な結果を示しているが,それでも遅い推論と繰り返しアーティファクトに悩まされている。 音声合成のための純粋離散フローマッチングを探索する最初のモデルであるDiFlow-TTSを紹介する。
  論文  参考訳（メタデータ） (2025-09-11T17:16:52Z)
• LM-SPT: LM-Aligned Semantic Distillation for Speech Tokenization [8.365515332927444]
  近年の音声トークン化手法は,低レベル音響から意味情報を分離し,言語モデルとの整合性を向上することを目的としている。 新規なセマンティック蒸留を導入する音声トークン化手法であるLM-SPTを提案する。 LM-SPTは,ベースラインに比べて高い再現性が得られることを示す。
  論文  参考訳（メタデータ） (2025-06-20T04:15:14Z)
• AS-ASR: A Lightweight Framework for Aphasia-Specific Automatic Speech Recognition [5.916484958997203]
  AS-ASRはWhisper-tinyに基づく軽量な失語特異的音声認識フレームワークである。 提案手法は,様々な比率で標準音声と失語音声を体系的に組み合わせ,ロバストな一般化を実現する。
  論文  参考訳（メタデータ） (2025-06-06T22:38:53Z)
• Pseudo-Autoregressive Neural Codec Language Models for Efficient Zero-Shot Text-to-Speech Synthesis [64.12708207721276]
  本稿では,AR と NAR を統一した新しい擬似自己回帰(PAR)言語モデリング手法を提案する。 PAR 上に構築した PALLE は 2 段階の TTS システムであり, PAR を初期生成に利用し, NAR を改良する。 実験では、LibriTTSでトレーニングされたPALLEが、大規模データでトレーニングされた最先端システムを上回っていることが示された。
  論文  参考訳（メタデータ） (2025-04-14T16:03:21Z)
• FR-Spec: Accelerating Large-Vocabulary Language Models via Frequency-Ranked Speculative Sampling [59.8051705468084]
  投機的サンプリングは,大規模言語モデルの自己回帰生成プロセスを促進する重要な手法として登場した。 本稿では、語彙空間圧縮によるドラフト候補選択を最適化する周波数ランクの投機的サンプリングフレームワークFR-Specを提案する。
  論文  参考訳（メタデータ） (2025-02-20T18:58:10Z)
• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。