論文の概要: When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation

• arxiv url: http://arxiv.org/abs/2609.36685v1
• Date: Tue, 29 Sep 2026 04:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.182327
• Title: When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation
• Title（参考訳）: セマンティクスが重要な時:コ音声ジェスチャ生成のための信頼性を考慮したセマンティクス・リズム制御
• Abstract要約: 共同音声ジェスチャ生成は、音声と時間的に同期し、音声コンテンツと意味的に一致したジェスチャーを合成することを目的としている。 協調音声ジェスチャー生成のための信頼性を考慮したセマンティック・リズム制御フレームワークを提案する。 ベンチマークデータセットを用いた実験により,提案フレームワークは意味表現性,リズム同期,動きの多様性,頑健さのバランスが良好であることを実証した。
• 参考スコア（独自算出の注目度）: 13.901654754418194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-speech gesture generation aims to synthesize natural gestures that are both temporally synchronized with speech and semantically consistent with the spoken content. Although recent methods can generate rhythmically plausible motions, they often rely heavily on acoustic prosody while underutilizing textual semantics, especially when semantic annotations are incomplete, noisy, or unavailable. Consequently, the generated gestures may follow speech rhythm while failing to express the intended semantics. To address this problem, we propose a reliability-aware semantic-rhythm control framework for co-speech gesture generation. We first learn a discrete motion prior that represents continuous gestures in a compact and structured motion-code space. We then introduce a dual-branch semantic contribution estimation mechanism consisting of a full multimodal branch and an audio-only branch. Their distributional discrepancy is formulated as conditional information gain to quantify how much textual semantics changes the predicted motion. Based on this estimate, a controllable semantic-rhythm objective selectively strengthens semantic guidance in content-relevant segments while limiting unnecessary semantic intervention in rhythm-dominant segments. Furthermore, we treat background noise as an acoustic reliability condition and introduce noise-conditioned feature modulation together with beneficial latent perturbation to improve generation robustness under realistic acoustic environments. Experiments on benchmark datasets demonstrate that the proposed framework achieves a favorable balance among semantic expressiveness, rhythmic synchronization, motion diversity, and robustness, enabling reliable and controllable co-speech gesture generation.
• Abstract（参考訳）: 共同音声ジェスチャ生成は、音声と時間的に同期し、音声コンテンツと意味的に一致した自然なジェスチャーを合成することを目的としている。 近年の手法では、リズム的にもっともらしい動作を生成できるが、特に意味的アノテーションが不完全、うるさい、あるいは利用できない場合に、テキスト意味論を弱めながら、音響的韻律に強く依存することが多い。 その結果、生成したジェスチャーは、意図した意味を表現するのに失敗しながら、音声のリズムに従うことができる。 この問題に対処するために,協調音声ジェスチャ生成のための信頼性を考慮したセマンティック・リズム制御フレームワークを提案する。 まず、コンパクトかつ構造化されたモーションコード空間における連続的なジェスチャーを表現する離散的な動きを学習する。 次に,マルチモーダル分岐と音声のみの分岐からなる2分岐意味貢献推定機構を導入する。 それらの分布差は条件情報ゲインとして定式化され、テキストのセマンティクスが予測された動きにどの程度変化するかを定量化する。 この推定に基づいて、制御可能なセマンティックリズムの目的は、リズム支配セグメントにおける不要なセマンティック介入を制限するとともに、コンテンツ関連セグメントにおけるセマンティックガイダンスを選択的に強化する。 さらに,背景雑音を音響的信頼性条件として扱うとともに,騒音条件による特徴変調と有意な潜在摂動を導入し,現実的な音響環境下での強靭性を向上させる。 ベンチマークデータセットを用いた実験により,提案フレームワークはセマンティック表現性,リズム同期,動きの多様性,ロバストさのバランスが良好であることを示し,信頼性と制御可能な音声合成を実現する。

関連論文リスト

• Baton: Explicit Semantic Blueprints for Joint Video-Audio Generation [113.24577778437295]
  Batonは、共同ビデオオーディオ生成に明示的なセマンティックプランニングを導入するフレームワークである。 我々の重要な洞察は、粗いテキストガイダンスを意味的にリッチでモダリティを意識したトークンで補完することで、細かなセマンティックディテールを同時に復元できるということです。 ベンチマークの実験は、バトンの有効性を質的にも定量的にも示している。
  論文  参考訳（メタデータ） (2026-05-24T17:55:11Z)
• Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation [50.411841997631484]
  We present Unison, a unified framework that promote coherence across the motion, speech, and sound modalities。 We show that Unison achieves state-of-the-art performance in audio perceptual quality and cross-modal synchro。
  論文  参考訳（メタデータ） (2026-05-09T06:32:54Z)
• CoSyncDiT: Cognitive Synchronous Diffusion Transformer for Movie Dubbing [76.74048814837336]
  映画ダビングは、ターゲット映像中の唇の動きと同期しながら、参照音声の音声アイデンティティを保持する音声を合成することを目的としている。 既存の方法は正確なリップシンクを達成できず、持続時間レベルでの明示的なアライメントによって自然性を欠いている。 認知同期拡散変換器(CoSync-DiT)により駆動される新しいフローマッチング型フィルムダビングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-04-14T05:03:57Z)
• SemTalk: Holistic Co-speech Motion Generation with Frame-level Semantic Emphasis [19.764460501254607]
  一般的なリズム運動と稀だが本質的なセマンティックモーションを慎重に統合しなければ、良好な音声合成が達成できない。 本稿では,フレームレベルのセマンティクスを重視した音声合成のためのSemTalkを提案する。
  論文  参考訳（メタデータ） (2024-12-21T10:16:07Z)
• Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
  RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。 我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。 提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:59:46Z)
• Rhythmic Gesticulator: Rhythm-Aware Co-Speech Gesture Synthesis with Hierarchical Neural Embeddings [27.352570417976153]
  本稿では、リズムとセマンティクスの両方で説得力のある結果が得られる新しい音声合成法を提案する。 本システムでは,発声とジェスチャーの時間的コヒーレンスを確保するために,ロバストなリズムベースセグメンテーションパイプラインを備えている。 ジェスチャーのセマンティクスにおいて,言語理論に基づく低レベルと高レベルの両方のニューラル埋め込みを効果的に解消する機構を考案する。
  論文  参考訳（メタデータ） (2022-10-04T08:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。