論文の概要: VOSSA: Voiceprint Optimization for Streaming Speech Architectures

• arxiv url: http://arxiv.org/abs/2609.38887v1
• Date: Wed, 30 Sep 2026 03:36:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.141946
• Title: VOSSA: Voiceprint Optimization for Streaming Speech Architectures
• Title（参考訳）: VOSSA:ストリーミング音声アーキテクチャのための音声プリント最適化
• Abstract要約: 本稿では,話者表現フレームワーク VOSSA (Voiceprint Optimization for Streaming Speech Architectures) を提案する。 中間コンテントエンコーダ層とアグリゲーションから、注意統計プールを用いて話者情報を抽出する。 NISQA-MOS、WER、話者類似性を維持しつつ、F0ダイナミクスと母音識別音響的手がかりを改善している。
• 参考スコア（独自算出の注目度）: 4.7828228833826145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-time voice conversion (VC) systems commonly rely on pretrained speaker embeddings from automatic speaker verification (ASV) models. While effective for speaker discrimination, these embeddings are trained to remain stable across phonetic and prosodic variations within-speaker, which may conflict with frame-level acoustic generation in streaming constraints. To address this issue, we propose VOSSA (Voiceprint Optimization for Streaming Speech Architectures), a speaker representation framework that extracts speaker information from intermediate content encoder layers and aggregates using attentive statistics pooling. The embedding is trained jointly with VC objectives, removing the need for a separate speaker encoder. Across six datasets, VOSSA improves F0 dynamics and vowel-discriminative acoustic cues while maintaining comparable NISQA-MOS, WER, and speaker similarity. Perceptual tests further indicate improvements in naturalness, speaker similarity, intelligibility, and vibrancy.
• Abstract（参考訳）: リアルタイム音声変換(VC)システムは一般に、自動話者検証(ASV)モデルからの事前訓練された話者埋め込みに依存している。 話者識別には有効であるが、これらの埋め込みは、ストリーム制約におけるフレームレベルの音響生成と矛盾する可能性のある、音声的および韻律的な話者内変奏に対して安定に維持するよう訓練される。 本稿では,中間コンテンツエンコーダ層から話者情報を抽出する話者表現フレームワーク VOSSA (Voiceprint Optimization for Streaming Speech Architectures) を提案する。 埋め込みはVCの目標と共同で訓練され、個別の話者エンコーダが不要になる。 6つのデータセットにわたって、VOSSAはF0のダイナミクスと母音識別音響的手がかりを改善し、同等のNISQA-MOS、WER、話者類似性を維持している。 知覚テストはさらに自然性、話者の類似性、知性、活力の向上を示す。

関連論文リスト

• Koel-TTS: Enhancing LLM based Speech Generation with Preference Alignment and Classifier Free Guidance [9.87139502863569]
  Koel-TTSは拡張エンコーダデコーダトランスフォーマーTSモデルのスイートである。 拡張エンコーダデコーダトランスフォーマーTSモデルのスイートであるKoel-TTSを紹介する。
  論文  参考訳（メタデータ） (2025-02-07T06:47:11Z)
• Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity [51.250471760075165]
  本稿では,学習中に話者単位の複数のサブセンタを利用する新しい話者埋め込みネットワークを提案する。 このサブセンターモデリングにより、埋め込みは話者分類性能を維持しながら、幅広い話者固有のバリエーションを捉えることができる。
  論文  参考訳（メタデータ） (2024-07-05T06:54:24Z)
• Enhancing the Stability of LLM-based Speech Generation Systems through Self-Supervised Representations [14.437646262239612]
  自己教師型音声変換(VC)アーキテクチャは、話者IDや記録条件などの定常的な特徴とは独立して、コンテンツなどのトランジッショナルな特徴を符号化し、話者不整合表現を作成するために使用することができる。 テキスト・トゥ・スポーチ(TTS)のためのLLMの訓練に話者区別符号を使用すると、LLMは人間と同様にテキストからのみ音声の内容とスタイルを生成することができ、一方、話者識別はVCモデルのデコーダによって提供される。 結果から,LLMの自己教師表現による訓練が4.7ppの改善をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-05T15:08:19Z)
• Controllable speech synthesis by learning discrete phoneme-level prosodic representations [53.926969174260705]
  直感的な離散ラベルを用いたF0と持続時間に対する音素レベル韻律制御のための新しい手法を提案する。 複数話者音声データセットから音素レベルF0と持続時間の特徴を識別するために用いられる教師なし韻律クラスタリングプロセスを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:43:36Z)
• Late Audio-Visual Fusion for In-The-Wild Speaker Diarization [33.0046568984949]
  本稿では,後期融合による音声のみと視覚中心のサブシステムを組み合わせた音声視覚ダイアリゼーションモデルを提案する。 オーディオでは,提案手法を用いてシミュレーションされたプロキシデータセットのレシピをトレーニングした場合,アトラクタベースのエンドツーエンドシステム(EEND-EDA)が極めてよく動作することを示す。 また、学習中にデコードに注意を払い、話者認識損失を減らし、より多くの話者を処理するEEND-EDA++の改良版も提案する。
  論文  参考訳（メタデータ） (2022-11-02T17:20:42Z)
• Self supervised learning for robust voice cloning [3.7989740031754806]
  自己教師型フレームワークで学習した特徴を用いて,高品質な音声表現を生成する。 学習した特徴は、事前訓練された発話レベルの埋め込みや、非減衰タコトロンアーキテクチャへの入力として使用される。 この手法により、ラベルなしマルチスピーカデータセットでモデルをトレーニングし、未知の話者埋め込みを用いて話者の声を模倣することができる。
  論文  参考訳（メタデータ） (2022-04-07T13:05:24Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• VCVTS: Multi-speaker Video-to-Speech synthesis via cross-modal knowledge transfer from voice conversion [77.50171525265056]
  本稿では,音声変換(VC)からのクロスモーダルな知識伝達に基づく,VTS(Multi-Speaker Video-to-Speech)システムを提案する。 Lip2Indネットワークは、VCのコンテンツエンコーダを交換してマルチスピーカVTSシステムを形成し、サイレントビデオを音響ユニットに変換して正確な音声コンテンツを再構成する。
  論文  参考訳（メタデータ） (2022-02-18T08:58:45Z)
• Training Robust Zero-Shot Voice Conversion Models with Self-supervised Features [24.182732872327183]
  Unsampling Zero-Shot Voice Conversion (VC) は、発話の話者特性を未確認のターゲット話者に合わせるように修正することを目的としている。 長さ再構成デコーダを用いて高品質なオーディオサンプルを作成可能であることを示す。
  論文  参考訳（メタデータ） (2021-12-08T17:27:39Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• Multi-task self-supervised learning for Robust Speech Recognition [75.11748484288229]
  本稿では,雑音および残響環境下での頑健な音声認識のためのPASE+を提案する。 我々は、様々なランダムな乱れで入力信号を汚染するオンライン音声歪みモジュールを用いる。 次に,再帰型ネットワークと畳み込み型ネットワークを効率よく組み合わせて,短時間および長期の音声力学をよりよく学習する改良型エンコーダを提案する。
  論文  参考訳（メタデータ） (2020-01-25T00:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。