論文の概要: Gesture2Speech: How Far Can Hand Movements Shape Expressive Speech?

• arxiv url: http://arxiv.org/abs/2603.19831v1
• Date: Fri, 20 Mar 2026 10:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:39.104064
• Title: Gesture2Speech: How Far Can Hand Movements Shape Expressive Speech?
• Title（参考訳）: Gesture2Speech:手の動きはどこまで表情を表現できるか?
• Authors: Lokesh Kumar, Nirmesh Shah, Ashishkumar P. Gudmalwar, Pankaj Wasnik,
• Abstract要約: 合成音声における韻律の変調に視覚ジェスチャーの手がかりを利用する新しいマルチモーダルテキスト音声合成フレームワークGesture2Speechを提案する。 Gesture2Speechは、音声の自然さとジェスチャー音声の同期の両方において、最先端のベースラインよりも優れていることを示す。 我々の知る限りでは、これはニューラル音声合成における韻律制御に手動ジェスチャーを用いた最初の試みである。
• 参考スコア（独自算出の注目度）: 11.96255700478909
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human communication seamlessly integrates speech and bodily motion, where hand gestures naturally complement vocal prosody to express intent, emotion, and emphasis. While recent text-to-speech (TTS) systems have begun incorporating multimodal cues such as facial expressions or lip movements, the role of hand gestures in shaping prosody remains largely underexplored. We propose a novel multimodal TTS framework, Gesture2Speech, that leverages visual gesture cues to modulate prosody in synthesized speech. Motivated by the observation that confident and expressive speakers coordinate gestures with vocal prosody, we introduce a multimodal Mixture-of-Experts (MoE) architecture that dynamically fuses linguistic content and gesture features within a dedicated style extraction module. The fused representation conditions an LLM-based speech decoder, enabling prosodic modulation that is temporally aligned with hand movements. We further design a gesture-speech alignment loss that explicitly models their temporal correspondence to ensure fine-grained synchrony between gestures and prosodic contours. Evaluations on the PATS dataset show that Gesture2Speech outperforms state-of-the-art baselines in both speech naturalness and gesture-speech synchrony. To the best of our knowledge, this is the first work to utilize hand gesture cues for prosody control in neural speech synthesis. Demo samples are available at https://research.sri-media-analysis.com/aaai26-beeu-gesture2speech/
• Abstract（参考訳）: 人間のコミュニケーションは音声と身体の動きをシームレスに統合し、手の動きは声の韻律を自然に補完し、意図、感情、強調を表現する。 最近のTTSシステムでは表情や唇の動きといったマルチモーダルな手がかりが取り入れられ始めているが、プロソディーの形成における手振りの役割は未熟である。 合成音声における韻律の変調に視覚ジェスチャーキューを利用する新しいマルチモーダルTSフレームワークGesture2Speechを提案する。 音声の韻律に自信と表現力を持った話者のジェスチャーを協調させることによって,言語内容とジェスチャー機能を動的に融合するマルチモーダルなMixture-of-Experts (MoE) アーキテクチャを導入する。 融合表現条件はLLMベースの音声デコーダであり、手の動きと時間的に一致した韻律変調を可能にする。 さらに、ジェスチャーと韻律の輪郭間のきめ細かい同期を確保するために、その時間的対応を明示的にモデル化するジェスチャー音声アライメント損失を設計する。 PATSデータセットの評価によると、Gesture2Speechは音声の自然さとジェスチャー音声の同期の両方において、最先端のベースラインを上回っている。 我々の知る限りでは、これはニューラル音声合成における韻律制御に手動ジェスチャーを用いた最初の試みである。 デモサンプルはhttps://research.sri-media-analysis.com/aaai26-beeu-gesture2speech/で公開されている。

関連論文リスト

• MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
  Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。 既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。 MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
  論文  参考訳（メタデータ） (2026-03-03T18:59:51Z)
• Understanding Co-speech Gestures in-the-wild [52.5993021523165]
  野生における音声ジェスチャー理解のための新しいフレームワークを提案する。 本稿では,ジェスチャと音声の関連性を理解するためのモデルの能力を評価するために,3つの新しいタスクとベンチマークを提案する。 本稿では,これらの課題を解決するために,3モーダルなビデオ・ジェスチャー・テキスト表現を学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-03-28T17:55:52Z)
• ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis [50.69464138626748]
  マルチモーダルなジェスチャー合成のための拡散に基づくアプローチであるConvoFusionを提案する。 提案手法は,条件の異なる条件が与える影響をユーザが調節できる2つの誘導目標を提案する。 本手法は,モノログジェスチャを生成するか,会話ジェスチャを生成するかの訓練が可能である。
  論文  参考訳（メタデータ） (2024-03-26T17:59:52Z)
• LivelySpeaker: Towards Semantic-Aware Co-Speech Gesture Generation [41.42316077949012]
  セマンティクスを意識した音声ジェスチャー生成を実現するフレームワークであるLivelySpeakerを紹介する。 本手法では,タスクをスクリプトベースのジェスチャー生成とオーディオガイドによるリズム改善の2段階に分割する。 新たな2段階生成フレームワークでは,妊娠スタイルの変更など,いくつかの応用が可能となった。
  論文  参考訳（メタデータ） (2023-09-17T15:06:11Z)
• Audio-Driven Co-Speech Gesture Video Generation [92.15661971086746]
  音声駆動型音声合成におけるこの課題を定義し,検討する。 私たちの重要な洞察は、共同音声ジェスチャーは共通の動きパターンと微妙なリズムダイナミクスに分解できるということです。 本稿では,再利用可能な音声のジェスチャーパターンを効果的に捉えるための新しいフレームワークであるAudio-driveN Gesture vIdeo gEneration(ANGIE)を提案する。
  論文  参考訳（メタデータ） (2022-12-05T15:28:22Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• Freeform Body Motion Generation from Speech [53.50388964591343]
  音声から体の動きを生成することは、音声から体の動きへの非決定論的マッピングのために本質的に困難である。 2ストリームアーキテクチャを組み込んだ新しいフリーフォームモーション生成モデル(FreeMo)を提案する。 実験は、いくつかのベースラインに対して優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-04T13:03:22Z)
• Gesticulator: A framework for semantically-aware speech-driven gesture generation [17.284154896176553]
  任意のビートとセマンティックなジェスチャーを同時に生成するモデルを提案する。 深層学習に基づくモデルでは、音声の音響的表現と意味的表現の両方を入力とし、入力として関節角回転の列としてジェスチャーを生成する。 結果として得られるジェスチャーは、仮想エージェントとヒューマノイドロボットの両方に適用できる。
  論文  参考訳（メタデータ） (2020-01-25T14:42:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。