論文の概要: SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings

• arxiv url: http://arxiv.org/abs/2607.01238v1
• Date: Fri, 01 May 2026 17:46:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.972292
• Title: SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings
• Title（参考訳）: SPARCLE: コントラスト言語埋め込みによるSPeaker-awarealigned Representation
• Abstract要約: 本稿では,文字の正確な音響的実現により文字を豊かにする話者対応グラフ表現モデルを提案する。 本モデルでは,標準グラフモデルと比較して,単語誤り率を極端に低リソース設定で半減することを示した。
• 参考スコア（独自算出の注目度）: 23.920215321354465
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in speech synthesis have shifted from phoneme representations to direct grapheme modeling. While phonemes address the one-to-many mapping between text and acoustics, they rely on grapheme-to-phoneme (G2P) systems that fail to capture speaker-specific acoustic variation. Prior work demonstrates that grapheme-based models outperform phoneme-based systems at scale, but not in low-resource settings. In this paper, we propose SPARCLE, a speaker-aware grapheme representation model that enriches characters with their precise acoustic realizations. SPARCLE is trained with a contrastive objective to align graphemes with corresponding Wav2Vec2 acoustic representations while conditioned on speaker identity. The resulting model serves as a replacement to G2P systems for downstream text-to-speech (TTS) tasks. We demonstrate that SPARCLE improves generation quality, reducing word error rates by half in extreme low-resource settings compared to standard grapheme-based models.
• Abstract（参考訳）: 音声合成の最近の進歩は、音素表現から直接グラフモデルへ移行している。 音素はテキストと音響の1対多マッピングに対処するが、話者固有の音響変化を捉えるのに失敗するG2P(Grapheme-to-phoneme)システムに依存している。 従来の研究は、グラフベースのモデルは音素ベースのシステムを大規模に上回るが、低リソース設定では良くないことを示した。 本稿では,話者認識型グラフ表現モデルであるSPARCLEを提案する。 SPARCLEは、話者識別を条件に、グラフエムを対応するWav2Vec2音響表現と整合させるために、対照的な目的で訓練される。 結果として得られたモデルは、ダウンストリームテキスト音声(TTS)タスクのためのG2Pシステムの代替となる。 本研究では,SPARCLEが生成品質を向上し,標準グラフベースモデルと比較して,極低リソース設定における単語誤り率を半減することを示した。

関連論文リスト

• POWSM: A Phonetic Open Whisper-Style Speech Foundation Model [50.73202227472358]
  POWSMは、複数の電話関連のタスクを共同で実行できる最初の統合フレームワークである。 私たちのトレーニングデータ、コード、モデルは、オープンサイエンスを育むためにリリースされています。
  論文  参考訳（メタデータ） (2025-10-28T21:43:45Z)
• VALLR: Visual ASR Language Model for Lip Reading [28.561566996686484]
  リップレディング(Lip Reading)または視覚自動音声認識(Visual Automatic Speech Recognition)は、視覚的手がかりからのみ音声言語の解釈を必要とする複雑なタスクである。 視覚自動音声認識(V-ASR)のための新しい2段階音素中心のフレームワークを提案する。 まず,CTCヘッドを用いたビデオ変換器を用いて,視覚入力から音素のコンパクトな列を予測する。 この音素出力は、コヒーレントな単語と文を再構成する微調整された大言語モデル(LLM)への入力として機能する。
  論文  参考訳（メタデータ） (2025-03-27T11:52:08Z)
• Multi-modal Adversarial Training for Zero-Shot Voice Cloning [9.823246184635103]
  実音声特徴と生成音声特徴を条件付きで識別するトランスフォーマーエンコーダデコーダアーキテクチャを提案する。 我々は、FastSpeech2音響モデルに適用し、大規模マルチスピーカーデータセットであるLibriheavyのトレーニングを行うことにより、新しい対角訓練手法を導入する。 本モデルは,音声品質と話者類似度の観点から,ベースラインに対する改善を実現する。
  論文  参考訳（メタデータ） (2024-08-28T16:30:41Z)
• Fine-tuning CLIP Text Encoders with Two-step Paraphrasing [83.3736789315201]
  パラフレーズに対するCLIPモデルの表現を強化するための簡単な微調整手法を提案する。 ParaCLIPと呼ばれる我々のモデルは、様々なタスクでベースラインCLIPモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-23T06:11:50Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• SoundChoice: Grapheme-to-Phoneme Models with Semantic Disambiguation [10.016862617549991]
  本稿では,単語レベルで操作するのではなく文全体を処理可能な新しいGrapheme-to-Phoneme(G2P)アーキテクチャであるSoundChoiceを提案する。 SoundChoiceは、LibriSpeechとWikipediaのデータを用いて全文の書き起こしで2.65%のPhoneme Error Rate(PER)を達成する。
  論文  参考訳（メタデータ） (2022-07-27T01:14:59Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR [77.82653227783447]
  ニューラルネットワークによるラベル遷移とラベル遷移の両方をモデル化するための GTC の拡張を提案する。 例として,多話者音声認識タスクに拡張GTC(GTC-e)を用いる。
  論文  参考訳（メタデータ） (2022-03-01T05:02:02Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• LSTM Acoustic Models Learn to Align and Pronounce with Graphemes [22.453756228457017]
  そこで本研究では,純粋にデータ駆動型で学習可能なグラファイムに基づく音声認識手法を提案する。 大規模なデータセットで学習すると,音素出力モデルとWERが競合することを示す。
  論文  参考訳（メタデータ） (2020-08-13T21:38:36Z)
• A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models [42.761409598613845]
  我々は,エンコーダ・デコーダ・アテンションASRモデルに対して,グラファイムと音素に基づく出力ラベルを体系的に比較する。 Switchboard 300h と LibriSpeech ベンチマークで実施された実験は、音素ベースのモデリングは、グラファイムベースのエンコーダ-デコーダ-アテンションモデリングと競合していることを示している。
  論文  参考訳（メタデータ） (2020-05-19T09:54:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。