論文の概要: UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation
- arxiv url: http://arxiv.org/abs/2506.04134v3
- Date: Tue, 05 Aug 2025 08:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-06 15:23:34.277437
- Title: UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation
- Title（参考訳）: UniCUE:中国語符号化音声音声合成のための統一認識・生成フレームワーク
- Authors: Jinting Wang, Shan Yang, Chenxing Li, Dong Yu, Li Liu,
- Abstract要約: Cued Speech (CS) は、手書きによる唇読取を強化し、聴覚障害者の正確な音声知覚を支援する視覚的音声手がかりを提供する。
CSビデオ音声生成(CSV2S)の課題は,CS動画を音声信号に変換することである。
中間テキストに頼ることなくCSビデオから直接音声を生成する最初のCSV2SであるUniCUEを提案する。
- 参考スコア（独自算出の注目度）: 34.57020177838285
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Cued Speech (CS) enhances lipreading via hand coding, offering visual phonemic cues that support precise speech perception for the hearing-impaired. The task of CS Video-to-Speech generation (CSV2S) aims to convert CS videos into intelligible speech signals. Most existing research focuses on CS Recognition (CSR), which transcribes video content into text. Consequently, a common solution for CSV2S is to integrate CSR with a text-to-speech (TTS) system. However, this pipeline relies on text as an intermediate medium, which may lead to error propagation and temporal misalignment between speech and CS video dynamics. In contrast, directly generating audio speech from CS video (direct CSV2S) often suffers from the inherent multimodal complexity and the limited availability of CS data. To address these challenges, we propose UniCUE, the first unified framework for CSV2S that directly generates speech from CS videos without relying on intermediate text. The core innovation of UniCUE lies in integrating an understanding task (CSR) that provides fine-grained CS visual-semantic cues to guide speech generation. Specifically, UniCUE incorporates a pose-aware visual processor, a semantic alignment pool that enables precise visual-semantic mapping, and a VisioPhonetic adapter to bridge the understanding and generation tasks within a unified architecture. To support this framework, we construct UniCUE-HI, a large-scale Mandarin CS dataset containing 11282 videos from 14 cuers, including both hearing-impaired and normal-hearing individuals. Extensive experiments on this dataset demonstrate that UniCUE achieves state-of-the-art performance across multiple evaluation metrics.
- Abstract（参考訳）: Cued Speech (CS) は、手書きによる唇読取を強化し、聴覚障害者の正確な音声知覚を支援する視覚的音声手がかりを提供する。
CSビデオ音声生成(CSV2S)の課題は,CS動画を音声信号に変換することである。
既存の研究は、ビデオコンテンツをテキストに書き起こすCS認識(CSR)に焦点を当てている。
したがって、CSV2Sの一般的な解決策は、CSRとTTS(text-to-speech)システムを統合することである。
しかし、このパイプラインはテキストを中間媒体として依存しており、誤りの伝播や音声とCSビデオの時間的ずれにつながる可能性がある。
対照的に、CSビデオ(直接CSV2S)から直接音声を生成することは、本質的にマルチモーダルな複雑さとCSデータの限られた可用性に悩まされることが多い。
これらの課題に対処するため、中間テキストに頼ることなくCSビデオから直接音声を生成するCSV2S用の統合フレームワークUniCUEを提案する。
UniCUEの中核となる革新は、音声生成を導くための細粒度のCS視覚意味の手がかりを提供する理解タスク(CSR)を統合することである。
特に、UniCUEには、ポーズ対応ビジュアルプロセッサ、正確なビジュアル・セマンティックマッピングを可能にするセマンティックアライメントプール、統合アーキテクチャ内の理解と生成タスクをブリッジするVisioPhoneticアダプタが組み込まれている。
このフレームワークをサポートするために、我々は、聴覚障害者と正常聴取者の両方を含む14のキューアから11282の動画を含む大規模なマンダリンCSデータセットであるUniCUE-HIを構築した。
このデータセットに関する大規模な実験は、UniCUEが複数の評価指標で最先端のパフォーマンスを達成することを実証している。
関連論文リスト
- Unified Video-Language Pre-training with Synchronized Audio [21.607860535968356]
シンクロナイズドオーディオを用いたビデオ言語事前学習のための拡張フレームワークを提案する。
我々のフレームワークは、統合された自己教師型変換器で三モーダル表現を学習する。
0.9Mデータのみを事前学習した本モデルは,最先端のベースラインに対する結果の改善を実現する。
論文 参考訳（メタデータ） (2024-05-12T07:59:46Z) - Bridge to Non-Barrier Communication: Gloss-Prompted Fine-grained Cued Speech Gesture Generation with Diffusion Model [11.160802635050866]
Cued Speech (CS) は、唇読みと手書きコードを統合する高度な視覚音声符号化システムである。
既存のCS生成手法は脆弱であり、テンプレートベースの統計モデルにより性能が低下する傾向にある。
我々はGross-prompted Diffusion-based CS Gesture Generation framework(GrossDiff)を提案する。
論文 参考訳（メタデータ） (2024-04-30T05:54:40Z) - Speech collage: code-switched audio generation by collaging monolingual
corpora [50.356820349870986]
Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。
2つのシナリオにおける音声認識における生成データの影響について検討する。
論文 参考訳（メタデータ） (2023-09-27T14:17:53Z) - Cross-Utterance Conditioned VAE for Speech Generation [27.5887600344053]
本稿では,CUC-VAE S2フレームワークを用いて,韻律の強化と自然な音声生成を実現する。
CUC-VAE TTS for text-to-speech と CUC-VAE SE for speech editor の2つの実用的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-08T06:48:41Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳（メタデータ） (2023-09-01T12:35:43Z) - MixSpeech: Cross-Modality Self-Learning with Audio-Visual Stream Mixup
for Visual Speech Translation and Recognition [51.412413996510814]
視覚音声の訓練を正規化するために音声音声を利用する多目的自己学習フレームワークであるMixSpeechを提案する。
MixSpeechは雑音の多い環境での音声翻訳を強化し、AVMuST-TED上でのBLEUスコアを+1.4から+4.2に改善した。
論文 参考訳（メタデータ） (2023-03-09T14:58:29Z) - UnifySpeech: A Unified Framework for Zero-shot Text-to-Speech and Voice
Conversion [63.346825713704625]
テキスト音声変換(TTS, Text-to-Speech)と音声変換(VC)は2つの異なるタスクであり, 音質の異なる音質で音声を合成することを目的としている。
本稿では,TSとVCを統合フレームワークに初めて導入するUnifySpeechを提案する。
論文 参考訳（メタデータ） (2023-01-10T06:06:57Z) - ReVISE: Self-Supervised Speech Resynthesis with Visual Input for
Universal and Generalized Speech Enhancement [40.29155338515071]
ReVISEは、Wildビデオ音声合成のための最初の高品質なモデルである。
単一のモデルで全てのLRS3オーディオ視覚強調タスクにおいて優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-12-21T21:36:52Z) - Language-agnostic Code-Switching in Sequence-To-Sequence Speech
Recognition [62.997667081978825]
コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。
本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。
さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
論文 参考訳（メタデータ） (2022-10-17T12:15:57Z) - SVTS: Scalable Video-to-Speech Synthesis [105.29009019733803]
本稿では,ビデオ・トゥ・スペクトログラム予測器と事前学習したニューラルボコーダの2つのコンポーネントからなるスケーラブルなビデオ音声合成フレームワークを提案する。
私たちは、挑戦的なLSS3データセットで不可解な結果を示す最初の人です。
論文 参考訳（メタデータ） (2022-05-04T13:34:07Z) - End-to-End Speech Translation for Code Switched Speech [13.97982457879585]
コードスイッチング(英: Code switch, CS)とは、異なる言語の単語やフレーズを相互に使用する現象である。
我々は,音声翻訳作業(ST)における英語とスペイン語の会話の文脈において,CSに着目し,書き起こしと翻訳の両方を生成・評価する。
我々のSTアーキテクチャ、特に双方向のエンドツーエンドアーキテクチャは、CS訓練データを使用しなくても、CS音声でよく機能することを示す。
論文 参考訳（メタデータ） (2022-04-11T13:25:30Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z) - VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic
Voice Over [68.22776506861872]
AVO(Automatic Voice Over)と呼ばれるサイレント事前録音ビデオと同期して音声を合成する新しいタスクを定式化する。
AVOの自然な解決策は、ビデオ中のリップシーケンスの時間的進行に音声レンダリングを条件付けることである。
そこで本稿では,視覚入力を前提とした新しい音声合成モデルVisualTTSを提案する。
論文 参考訳（メタデータ） (2021-10-07T11:25:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。