論文の概要: SynerGest: Temporal-Spatial Synergistic Gesture Generation for Dyadic Conversations
- arxiv url: http://arxiv.org/abs/2610.24031v1
- Date: Fri, 16 Oct 2026 07:26:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:32:52.725892
- Title: SynerGest: Temporal-Spatial Synergistic Gesture Generation for Dyadic Conversations
- Title（参考訳）: SynerGest:Dyadic Conversationsのための時間空間的相乗的ジェスチャー生成
- Abstract要約: コントラストフローマッチング(CFM)に基づく高忠実度動的ジェスチャー生成フレームワークSynerGestを提案する。
アーキテクチャ上のボトルネックを克服するため,Impulse-Trend Synergistic Attention (ITSA)モジュールを導入する。
ITSAは、連続的なキネマティックな傾向とは別個に、シャープで音声駆動のリズムインパルスをモデル化し、正確な音声-モーション同期とグローバルな構造安定性をサポートする。
- 参考スコア（独自算出の注目度）: 5.0258856618819285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Co-speech gesture generation in dyadic conversations for creating immersive virtual avatars remains highly challenging. Existing models often struggle to balance kinematic stability with rhythmic responsiveness and suffer from semantic entanglement, leading to either generic mean-pose regression or unnatural micro-jitters. To address these challenges, we propose SynerGest, a high-fidelity dyadic gesture generation framework grounded in Contrastive Flow Matching (CFM). Specifically, our CFM objective explicitly penalizes mismatched semantic pairs during training, discouraging spatial shortcuts and over-smoothed predictions while improving conditional semantic alignment. Furthermore, to overcome architectural bottlenecks, we introduce the Impulse-Trend Synergistic Attention (ITSA) module. Grounded in the key insight of decoupling "what moves" from "when it moves," ITSA models sharp, speech-driven rhythmic impulses separately from continuous kinematic trends, supporting precise audio-motion synchronization and global structural stability. Extensive qualitative and quantitative evaluations on two public datasets demonstrate that SynerGest achieves state-of-the-art performance, delivering contextually responsive and kinematically fluid dyadic interactions.
- Abstract（参考訳）: 没入型仮想アバター作成のためのダイアディック会話における共同音声ジェスチャ生成は,依然として極めて困難である。
既存のモデルでは、運動の安定性とリズムの応答性のバランスをとるのに苦労し、意味的な絡み合いに悩まされ、一般的な平均値の回帰または不自然なマイクロジッタに繋がる。
これらの課題に対処するために,コントラストフローマッチング(CFM)に基づく高忠実度ダイアディックジェスチャ生成フレームワークであるSynerGestを提案する。
具体的には,条件付きセマンティックアライメントを改善しつつ,空間的ショートカットや過度に平滑な予測を回避し,トレーニング中に不一致セマンティックペアを明示的に罰する。
さらに,アーキテクチャ上のボトルネックを克服するため,Impulse-Trend Synergistic Attention (ITSA)モジュールを導入する。
ITSAは「動くとき」から「動くとき」から「動くとき」を分離する重要な洞察に基づいて、連続的なキネマティックな傾向から分離したシャープで音声駆動のリズムインパルスをモデル化し、正確な音声-モーション同期とグローバルな構造安定性をサポートする。
2つの公開データセットの大規模な質的および定量的評価は、SynerGestが最先端のパフォーマンスを達成し、文脈的応答性と運動学的に流動的なダイアド相互作用を提供することを示す。
関連論文リスト
- WaveSync: Constrained Wavefront Optimization for Synchronized Co-Speech Gestures in Humanoid Robots [2.0424038686449006]
自然な人間とロボットの相互作用には表現力のある共同音声ジェスチャーが不可欠であるが、物理的ヒューマノイドロボットではそれらを生成することは困難である。
大規模言語モデルが対話応答を構造化セマンティックスキーマに分解するハイブリッドフレームワークである textbfWaveSync を提案する。
提案手法は,高同期精度を実現し,主観的評価と主観的評価の両面において3つのベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-06-15T11:47:30Z) - EgoMotion: Hierarchical Reasoning and Diffusion for Egocentric Vision-Language Motion Generation [74.07852250099559]
Egocentric Vision-Language (Ego-VL) モーション生成について検討する。
本課題は,1対1の視覚的観察と自然言語の指示を併用した3次元人間の動作を合成することである。
この課題に対処するために,階層型生成フレームワーク textbfEgoMotion を提案する。
論文 参考訳（メタデータ） (2026-04-21T05:31:06Z) - Grounded Forcing: Bridging Time-Independent Semantics and Proximal Dynamics in Autoregressive Video Synthesis [4.005546471495742]
時間に依存しないセマンティクスと近位ダイナミクスを橋渡しする新しいフレームワークであるGrounded Forcingを紹介する。
また,グラウンドド・フォースは長距離の一貫性と視覚的安定性を著しく向上させ,インタラクティブなロングフォームビデオ合成のための堅牢な基盤を確立した。
論文 参考訳（メタデータ） (2026-04-08T11:03:22Z) - GDPO-Listener: Expressive Interactive Head Generation via Auto-Regressive Flow Matching and Group reward-Decoupled Policy Optimization [5.5806589487812746]
GDPO-Listenerは高度に表現力のある発話・聴取動作生成を実現する新しいフレームワークである。
本稿では,安定した教師付き学習を可能にする自動回帰フローマッチングアーキテクチャを提案する。
異なるFLAMEパラメータ群間で報酬正規化を分離することにより、GDPOは高分散表現世代を明示的にインセンティブ化する。
論文 参考訳（メタデータ） (2026-03-26T04:36:27Z) - MotionCFG: Boosting Motion Dynamics via Stochastic Concept Perturbation [60.48914865049489]
MotionCFGは、ターゲットコンセプトとノイズブレーブの概念を対比することにより、モーションダイナミクスを強化するフレームワークである。
明示的な否定とは異なり、このアプローチはグローバルな意味的アイデンティティをシフトすることなく暗黙的な否定的なガイダンスを促進する。
MotionCFGは、最先端のT2Vフレームワーク間のモーションダイナミクスを一貫して改善する。
論文 参考訳（メタデータ） (2026-03-14T18:39:37Z) - Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。
シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。
マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
論文 参考訳（メタデータ） (2025-10-09T04:48:49Z) - AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。
本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。
AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-21T03:28:53Z) - ReCoM: Realistic Co-Speech Motion Generation with Recurrent Embedded Transformer [58.49950218437718]
音声に同期した高忠実で一般化可能な人体動作を生成するための効率的なフレームワークであるReCoMを提案する。
Recurrent Embedded Transformer (RET)は、動的埋め込み正規化(DER)をViT(Vit)コアアーキテクチャに統合する。
モデルロバスト性を高めるため,ノイズ抵抗とクロスドメイン一般化の二重性を持つモデルに,提案したDER戦略を取り入れた。
論文 参考訳（メタデータ） (2025-03-27T16:39:40Z) - SemTalk: Holistic Co-speech Motion Generation with Frame-level Semantic Emphasis [19.764460501254607]
一般的なリズム運動と稀だが本質的なセマンティックモーションを慎重に統合しなければ、良好な音声合成が達成できない。
本稿では,フレームレベルのセマンティクスを重視した音声合成のためのSemTalkを提案する。
論文 参考訳（メタデータ） (2024-12-21T10:16:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。