論文の概要: SiGnature: Explicit Motion Diffusion for Stylized Semantic Gesture
- arxiv url: http://arxiv.org/abs/2606.15889v1
- Date: Sun, 14 Jun 2026 16:18:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.929526
- Title: SiGnature: Explicit Motion Diffusion for Stylized Semantic Gesture
- Title（参考訳）: SiGnature: スタティック・セマンティック・ジェスチャのための明示的な運動拡散
- Abstract要約: SiGnatureは、スティル化およびセマンティックゲスチャ生成のためのフレームワークである。
高精度なセマンティックコントロールを高忠実度スタイルの保存と整合させる。
滑らかで自然な音声ジェスチャー生成を維持しながら、より優れたセマンティックな動作制御を提供する。
- 参考スコア（独自算出の注目度）: 31.872713283587604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While recent advances in co-speech gesture generation have achieved impressive rhythmic synchronization, synthesizing gestures that are both semantically meaningful and faithful to a speaker's unique non-verbal style remains an open challenge. Semantic gestures, such as iconic shapes or deictic pointing, are statistically sparse, making them difficult to learn effectively within standard generative models. We present SiGnature, a framework for Stylized and Semantic Gesture generation that reconciles precise semantic control with high-fidelity style preservation. Unlike prevalent methods that rely on entangled latent representations, SiGnature operates in an explicit joint-rotation space. This design enables our core contribution, Joint Motion Integration (JMI), a training-free inference mechanism capable of injecting any external motion sequence, particularly in-the-wild semantic gestures, directly into the diffusion process. JMI automatically identifies the specific ``active joints'' conveying a semantic action and injects them into the generation, while relying on the diffusion backbone to synthesize the remaining body dynamics, including posture and flow, in accordance with the pre-learned style of the target speaker. This allows for the plug-and-play integration of arbitrary motions, including complex semantic gestures, without retraining or introducing the ``Frankenstein'' artifacts typical of cut-and-paste methods. Extensive experiments and perceptual studies demonstrate that SiGnature offers superior semantic motion control while maintaining smooth and natural co-speech gesture generation and preserving the distinct characteristics of the speaker, thereby outperforming state-of-the-art baselines.
- Abstract（参考訳）: 最近の共同音声ジェスチャー生成の進歩は、印象的なリズミカル同期を実現しているが、意味的に意味があり、話者の独特な非言語スタイルに忠実なジェスチャーを合成することは、依然としてオープンな課題である。
象徴的形状やディスティック・ポインティングのような意味的なジェスチャーは統計的に疎いため、標準的な生成モデル内で効果的に学習することは困難である。
我々は, 高精度な意味制御と高忠実度スタイルの保存を両立させる, スティル化およびセマンティックジェスチャ生成のためのフレームワークSiGnatureを提案する。
絡み合った潜在表現に依存する一般的な方法とは異なり、SiGnatureは明示的な共同回転空間で機能する。
この設計により、トレーニング不要な推論機構であるJoint Motion Integration (JMI) が、外部の動作シーケンス、特にファイル内のセマンティックジェスチャを直接拡散プロセスに注入することが可能になる。
JMIは、セマンティックアクションを伝達する特定の「アクティブジョイント」を自動的に識別し、それらを世代に注入すると同時に、拡散バックボーンに依存して、ターゲット話者の事前学習スタイルに従って、姿勢や流れを含む残りの身体動態を合成する。
これにより、複雑なセマンティックジェスチャを含む任意のモーションを、カット・アンド・ペーストメソッドに典型的な `Frankenstein'' アーティファクトを再トレーニングしたり導入したりすることなく、プラグイン・アンド・プレイに統合することができる。
広汎な実験と知覚的研究により、SiGnatureは、スムーズで自然な音声のジェスチャー生成を維持し、話者の異なる特性を保ちながら、より優れた意味的動作制御を提供することを示した。
関連論文リスト
- Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures [58.6162288735234]
そこで本稿では, 意味的動作アンカー, ジェスチャー動作の自然言語的抽象化, 物理的形状, コミュニケーション意図を提案する。
本手法は,3次元ジェスチャーを身体動作プリミティブに識別し,言語的に構造化された記述に分類し,転写文にグルーピングする。
BEAT2では,テキスト・モーション・ベースライン上でテキスト・ツー・ジェスチャR@1を8.2%改善する。
論文 参考訳（メタデータ） (2026-05-28T22:01:11Z) - HolisticSemGes: Semantic Grounding of Holistic Co-Speech Gesture Generation with Contrastive Flow-Matching [1.6916040234975798]
コントラストフローマッチングに基づく音声合成モデルを提案する。
一致しない音声テキスト条件を負として使用し、速度場をトレーニングして正しい運動軌跡を辿り、意味的に矛盾した軌跡を撃退する。
本モデルでは,テキスト,音声,ホロスティックな動きを,コサインとコントラストの目的によって合成潜在空間に埋め込むことにより,クロスモーダルなコヒーレンスを保証する。
論文 参考訳（メタデータ） (2026-03-27T16:11:44Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - 3DGesPolicy: Phoneme-Aware Holistic Co-Speech Gesture Generation Based on Action Control [3.606473077857744]
3DGesPolicyは、連続的な軌跡制御問題として総合的なジェスチャー生成を再構成するアクションベースのフレームワークである。
フレーム・ツー・フレームの変動を統一的全体的動作としてモデル化することにより,フレーム間の動作パターンを効果的に学習する。
表現的アライメントにおけるギャップをさらに埋めるため,Gesture-Audio-Phoneme (GAP) 融合モジュールを提案する。
論文 参考訳（メタデータ） (2026-01-26T12:57:36Z) - Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration [57.02757226679549]
本研究では,文脈内学習タスクとしてスタイル誘導合成を再構成する学習自由フレームワークを提案する。
セマンティック・スタイル統合(DSSI)機構を提案する。
実験により,本手法はセマンティックスタイルのバランスと視覚的品質に優れた高忠実度スタイリングを実現することが示された。
論文 参考訳（メタデータ） (2026-01-10T16:01:14Z) - SemGes: Semantics-aware Co-Speech Gesture Generation using Semantic Coherence and Relevance Learning [0.6249768559720122]
共同音声ジェスチャ生成における意味的接地のための新しい手法を提案する。
我々のアプローチは、ベクトル量子化された変分オートエンコーダによって、前もって動きを学習することから始まる。
提案手法は,2つのベンチマークにおいて,音声合成における最先端手法よりも優れる。
論文 参考訳（メタデータ） (2025-07-25T15:10:15Z) - Retrieving Semantics from the Deep: an RAG Solution for Gesture Synthesis [55.45253486141108]
RAG-Gestureは、意味的に豊かなジェスチャーを生成するための拡散に基づくジェスチャー生成手法である。
我々は、明示的なドメイン知識を用いて、共同音声ジェスチャーのデータベースから動きを検索する。
提案手法では,各検索挿入が生成したシーケンスに対して与える影響量を調整可能なガイダンス制御パラダイムを提案する。
論文 参考訳（メタデータ） (2024-12-09T18:59:46Z) - Emphasizing Semantic Consistency of Salient Posture for Speech-Driven Gesture Generation [44.78811546051805]
音声駆動ジェスチャ生成は、入力音声信号と同期したジェスチャシーケンスを合成することを目的としている。
従来の手法では、ニューラルネットワークを利用して、コンパクトな音声表現をジェスチャーシーケンスに直接マッピングする。
そこで本稿では,姿勢のセマンティック一貫性を重視した音声によるジェスチャー生成手法を提案する。
論文 参考訳（メタデータ） (2024-10-17T17:22:59Z) - Semantic Gesticulator: Semantics-Aware Co-Speech Gesture Synthesis [25.822870767380685]
本稿では,セマンティック・ゲスティキュレータについて述べる。セマンティック・ジェスチャは,セマンティック・ジェスチャを強力なセマンティック・アセプティクスで合成するためのフレームワークである。
本システムでは,リズミカルコヒーレントかつセマンティックな動作を生成する上で,ロバスト性を示す。
我々のシステムは、意味的適切性の観点から、最先端のシステムよりも明確なマージンで優れています。
論文 参考訳（メタデータ） (2024-05-16T05:09:01Z) - Freeform Body Motion Generation from Speech [53.50388964591343]
音声から体の動きを生成することは、音声から体の動きへの非決定論的マッピングのために本質的に困難である。
2ストリームアーキテクチャを組み込んだ新しいフリーフォームモーション生成モデル(FreeMo)を提案する。
実験は、いくつかのベースラインに対して優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-04T13:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。