論文の概要: Bridge to Non-Barrier Communication: Gloss-Prompted Fine-grained Cued Speech Gesture Generation with Diffusion Model

• arxiv url: http://arxiv.org/abs/2404.19277v1
• Date: Tue, 30 Apr 2024 05:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 15:23:59.528953
• Title: Bridge to Non-Barrier Communication: Gloss-Prompted Fine-grained Cued Speech Gesture Generation with Diffusion Model
• Title（参考訳）: 非バリア通信へのブリッジ:拡散モデルによるグロスプロンプされた微細きめ細かなキュード音声ジェスチャ生成
• Authors: Wentao Lei, Li Liu, Jun Wang,
• Abstract要約: Cued Speech (CS) は、唇読みと手書きコードを統合する高度な視覚音声符号化システムである。 既存のCS生成手法は脆弱であり、テンプレートベースの統計モデルにより性能が低下する傾向にある。 我々はGross-prompted Diffusion-based CS Gesture Generation framework(GrossDiff)を提案する。
• 参考スコア（独自算出の注目度）: 11.160802635050866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cued Speech (CS) is an advanced visual phonetic encoding system that integrates lip reading with hand codings, enabling people with hearing impairments to communicate efficiently. CS video generation aims to produce specific lip and gesture movements of CS from audio or text inputs. The main challenge is that given limited CS data, we strive to simultaneously generate fine-grained hand and finger movements, as well as lip movements, meanwhile the two kinds of movements need to be asynchronously aligned. Existing CS generation methods are fragile and prone to poor performance due to template-based statistical models and careful hand-crafted pre-processing to fit the models. Therefore, we propose a novel Gloss-prompted Diffusion-based CS Gesture generation framework (called GlossDiff). Specifically, to integrate additional linguistic rules knowledge into the model. we first introduce a bridging instruction called \textbf{Gloss}, which is an automatically generated descriptive text to establish a direct and more delicate semantic connection between spoken language and CS gestures. Moreover, we first suggest rhythm is an important paralinguistic feature for CS to improve the communication efficacy. Therefore, we propose a novel Audio-driven Rhythmic Module (ARM) to learn rhythm that matches audio speech. Moreover, in this work, we design, record, and publish the first Chinese CS dataset with four CS cuers. Extensive experiments demonstrate that our method quantitatively and qualitatively outperforms current state-of-the-art (SOTA) methods. We release the code and data at https://glossdiff.github.io/.
• Abstract（参考訳）: Cued Speech (CS) は、唇読取と手話の符号化を統合し、聴覚障害のある人が効率的にコミュニケーションできる高度な視覚音声符号化システムである。 CSビデオ生成は、音声やテキスト入力からCSの特定の唇とジェスチャーの動きを生成することを目的としている。 主な課題は、CSデータに制限がある場合、細粒度の手と指の動きと唇の動きを同時に生成し、同時に2種類の動きを非同期に調整する必要があることである。 既存のCS生成手法は、テンプレートベースの統計モデルと手作りの事前処理がモデルに適合するため、脆弱であり、性能が劣る傾向にある。 そこで我々はGross-prompted Diffusion-based CS Gesture Generation framework (GrossDiff)を提案する。 具体的には、追加の言語規則知識をモデルに統合する。 これは、音声言語とCSジェスチャー間の直接的かつより繊細なセマンティックな接続を確立するために、自動生成された記述テキストである。 さらに,我々はまず,CSがコミュニケーション効率を向上させるために,リズムが重要なパラ言語的特徴であることを示唆した。 そこで本研究では、音声音声にマッチするリズムを学習するための新しい音声駆動リズムモジュール(ARM)を提案する。 さらに,本研究では,中国初のCSデータセットを4つのCSキューで設計し,記録し,公開する。 実験により,本手法が現在最先端(SOTA)法より定量的に,質的に優れていることを示した。 コードとデータはhttps://glossdiff.github.io/で公開しています。

関連論文リスト

• CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models [74.80386066714229]
  改良されたストリーミング音声合成モデルCosyVoice 2を提案する。 具体的には,音声トークンのコードブック利用を改善するために,有限スカラー量子化を導入する。 我々は,様々な合成シナリオをサポートするために,チャンク対応因果フローマッチングモデルを開発した。
  論文  参考訳（メタデータ） (2024-12-13T12:59:39Z)
• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Towards Accurate Lip-to-Speech Synthesis in-the-Wild [31.289366690147556]
  そこで本研究では,唇の動きのみをベースとしたサイレントビデオから音声を合成する手法を提案する。 リップビデオから直接音声を生成する従来のアプローチは、音声だけで堅牢な言語モデルを学べないという課題に直面している。 我々は,我々のモデルに言語情報を注入する最先端のリップ・トゥ・テキスト・ネットワークを用いて,ノイズの多いテキスト管理を導入することを提案する。
  論文  参考訳（メタデータ） (2024-03-02T04:07:24Z)
• Speech collage: code-switched audio generation by collaging monolingual corpora [50.356820349870986]
  Speech Collage は音声セグメントをスプライシングすることでモノリンガルコーパスからCSデータを合成する手法である。 2つのシナリオにおける音声認識における生成データの影響について検討する。
  論文  参考訳（メタデータ） (2023-09-27T14:17:53Z)
• Language-Oriented Communication with Semantic Coding and Knowledge Distillation for Text-to-Image Generation [53.97155730116369]
  我々は言語指向意味コミュニケーション(LSC)の新しい枠組みを提唱した。 LSCでは、機械は人間の言語メッセージを使って通信し、SC効率のために自然言語処理(NLP)技術を用いて解釈および操作することができる。 1) テキストプロンプトをキーヘッドワードに圧縮するセマンティック・ソース・コーディング(SSC)、2) セマンティック・チャネル・コーディング(SCC)、2) セマンティック・チャネル・コーディング(SCC)、3) セマンティック・ナレッジ・蒸留(SKD)、3) リスナーの言語学習を通じてリスナーに適応したプロンプトを生成するセマンティック・ナレッジ・蒸留(SKD)の3つの革新的なアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-20T08:19:05Z)
• Cross-Modal Mutual Learning for Cued Speech Recognition [10.225972737967249]
  マルチモーダルインタラクションを促進するためのトランスフォーマーに基づく相互学習フレームワークを提案する。 我々のモデルは、モダリティ固有の異なるモダリティの情報に、モダリティ不変のコードブックを通らせるよう強制する。 中国語のための大規模多話者CSデータセットを新たに構築する。
  論文  参考訳（メタデータ） (2022-12-02T10:45:33Z)
• Language-agnostic Code-Switching in Sequence-To-Sequence Speech Recognition [62.997667081978825]
  コードスイッチング(Code-Switching, CS)とは、異なる言語の単語やフレーズを交互に使用する現象である。 本稿では,異なるソース言語の音声および対応するラベルを転写する,シンプルで効果的なデータ拡張手法を提案する。 さらに,5,03%のWERによるトレーニング中に見つからない文間言語スイッチにおいて,モデルの性能を向上できることを示す。
  論文  参考訳（メタデータ） (2022-10-17T12:15:57Z)
• Style Variation as a Vantage Point for Code-Switching [54.34370423151014]
  Code-Switching (CS) は、複数のバイリンガルコミュニティや多言語コミュニティでよく見られる現象である。 両言語間のスタイルのバリエーションとして,CSの新たな特徴点を提示する。 本稿では,第1段階がCSの競合負例を生成し,第2段階がより現実的なCS文を生成する2段階生成逆トレーニング手法を提案する。
  論文  参考訳（メタデータ） (2020-05-01T15:53:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。