論文の概要: DualTrack: Synchronized speech-gesture generation via symmetric coupling of pretrained priors

• arxiv url: http://arxiv.org/abs/2609.36624v1
• Date: Tue, 29 Sep 2026 03:33:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 04:28:51.336566
• Title: DualTrack: Synchronized speech-gesture generation via symmetric coupling of pretrained priors
• Title（参考訳）: DualTrack: 事前訓練前の対称結合による音声・姿勢同期生成
• Abstract要約: 提案するDualTrackは,12.5Hzのタイムライン上で,事前訓練された音声と動きの事前処理を行う。 43のBEAT2録音を4言語で評価した。
• 参考スコア（独自算出の注目度）: 8.744302763612358
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Joint speech-gesture synthesis must coordinate two modalities despite limited paired data. Existing approaches often lack bidirectional interaction, have limited language coverage, or simplify body and finger representations. We present DualTrack, which couples pretrained speech and motion priors on a shared 12.5 Hz timeline. Causal adapters exchange previous-packet information, while current-state fusion coordinates the streams before they separately complete sixteen-codebook packets. We evaluate 43 BEAT2 recordings in four languages, with speakers held out from joint training and validation. On the shared English/Spanish inputs, without speech or motion prefixes, DualTrack achieves lower word error rate and full-motion Fréchet Gesture Distance, higher beat consistency and speech naturalness than the evaluated GELINA baseline.
• Abstract（参考訳）: 音声・姿勢合成は, 限られたペアデータに拘わらず, 2つのモーダルを調整しなければならない。 既存のアプローチでは、双方向のインタラクションが欠如したり、言語カバレッジが制限されたり、ボディとフィンガーの表現が簡略化されたりすることがよくある。 提案するDualTrackは,12.5Hzのタイムライン上で,事前訓練された音声と動きの事前処理を行う。 カソーサルアダプタは以前のパケット情報を交換するが、現在のフュージョンは16のコードブックパケットを別々に完了する前にストリームを調整する。 43のBEAT2録音を4言語で評価した。 英語とスペイン語の共通入力では,単語誤り率とフルモーション・フレシェ・ジェスチャ・ディスタンス(Fréchet Gesture Distance)を,評価されたGELINAベースラインよりも高いビート一貫性と音声自然度で達成する。

関連論文リスト

• A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models [12.863684545287716]
  そこで本研究では,L2音声の低次元参照部分空間を定義し,L2音声をL2音声からL2音声までの距離で評価する手法を提案する。 異なる自己教師付きエンコーダとモデル選択により、結果として得られるネイティブ参照距離は、話しの習熟度と-0.5までの負のスピアマン相関を示し、高い習熟度話者がネイティブ参照空間に近づく傾向があることを示している。
  論文  参考訳（メタデータ） (2026-09-23T13:11:25Z)
• When Speech Meets Lips: Interpretable Audio-Visual Synchronization for L2 Pronunciation Assessment [12.51525565225002]
  本稿では,音声-リップの時間的アライメントを明示的にモデル化する,解釈可能な音声-視覚同期フレームワークを提案する。 10名のインストラクター,20名の学生を対象に質問紙調査を行い,その有効性について検討した。
  論文  参考訳（メタデータ） (2026-09-06T19:11:33Z)
• DiFlowDubber: Discrete Flow Matching for Automated Video Dubbing via Cross-Modal Alignment and Synchronization [16.192222723269925]
  ビデオダビングは、映画製作、マルチメディア制作、補助音声技術に広く応用されている。 既存のアプローチでは、限られたダビングデータセットを直接トレーニングするか、事前トレーニングされたテキスト音声(TTS)モデルに適応する2段階のパイプラインを採用する。 本稿では,事前学習したTSモデルからビデオ駆動ダビングへの知識伝達を効果的に行う,新しい2段階トレーニングフレームワークであるDiFlowDubberを提案する。 2つの主要なベンチマークデータセットの実験では、DiFlowDubberは、複数のメトリクスで過去のメソッドより優れていることが示されている。
  論文  参考訳（メタデータ） (2026-03-15T07:53:23Z)
• Gelina: Unified Speech and Gesture Synthesis via Interleaved Token Prediction [14.650945453930754]
  本稿では,テキストから音声と共同音声のジェスチャーを共同で合成する統合フレームワークであるGelinaを紹介する。 Gelinaはマルチスピーカーとマルチスタイルのクローンをサポートし、音声入力からジェスチャーのみの合成を可能にする。
  論文  参考訳（メタデータ） (2025-10-13T09:51:26Z)
• MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition [75.12948999653338]
  マンダリン自動音声認識(ASR)のためのマルチタスクエンコーダ-デコーダ事前学習フレームワーク(MMSpeech)を提案する。 我々は、音声とテキストデータを用いた5つの自己教師付きタスクを含むマルチタスク学習フレームワークを採用する。 AISHELL-1を用いた実験により,提案手法は従来手法と比較して40%以上の改善が得られた。
  論文  参考訳（メタデータ） (2022-11-29T13:16:09Z)
• token2vec: A Joint Self-Supervised Pre-training Framework Using Unpaired Speech and Text [65.04385919645395]
  token2vecは、音声の離散表現に基づく、未ペア音声とテキストのための新しい事前学習フレームワークである。 実験の結果、 token2vec は様々な音声のみの事前学習ベースラインよりも大幅に優れており、WER の相対的な減少率は17.7%である。
  論文  参考訳（メタデータ） (2022-10-30T06:38:19Z)
• Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
  調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。 本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。 生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
  論文  参考訳（メタデータ） (2022-06-15T07:20:28Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Multi-view Temporal Alignment for Non-parallel Articulatory-to-Acoustic Speech Synthesis [59.623780036359655]
  A2A(Articulatory-to-Aoustic)合成は、音声刺激器のキャプチャされた動きから可聴音声の生成を指します。 この手法には、病気や怪我のためにもはや話せない人々への口頭コミュニケーションの回復など、多くの応用がある。 本稿では,多視点学習の理論に基づく問題解決法を提案する。
  論文  参考訳（メタデータ） (2020-12-30T15:09:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。