論文の概要: Puppeteer: Object-Grounded Posture-Aware Co-Speech Gesture Generation
- arxiv url: http://arxiv.org/abs/2609.00369v1
- Date: Mon, 31 Aug 2026 21:02:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.099795
- Title: Puppeteer: Object-Grounded Posture-Aware Co-Speech Gesture Generation
- Title（参考訳）: Puppeteer: オブジェクトを囲む姿勢認識型音声ジェスチャー生成
- Abstract要約: 姿勢認識型オブジェクト指向音声合成拡散モデルであるPuppeteerを提案する。
Puppeteerは従来の方法よりも多様で時間的に同期されたジェスチャーを生成する。
- 参考スコア（独自算出の注目度）: 1.7583726083221285
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Generating co-speech gestures that are temporally coherent, semantically aligned with speech, and grounded with surrounding objects remains challenging. Prior speech-driven gesture models emphasize audio-gesture alignment but do not explicitly account for posture constraints or surrounding objects, failing to capture the inherent correlation between body gestures and the physical space. We present Puppeteer, a posture-aware, object-grounded co-speech gesture diffusion model operating in a causal latent space. We decompose long gestures into structured primitives and learn a causal variational autoencoder that encodes them into temporally ordered latent tokens, each depending only on the past. We then perform conditional diffusion directly in the causal latent space, conditioning on speech signals, motion history, an initial posture reference, and object geometry to synthesize physically consistent gestures. This temporally ordered latent formulation enables explicit temporal control and supports tasks such as gesture in-betweening and gesture completion. To better assess co-speech gesture synthesis beyond existing measures, we introduce new evaluation metrics tailored to this task. We also created SceneGes, the first curated synthetic 3D dataset of embodied co-speech gestures and corresponding 3D objects, enabling object-grounded gesture generation. Experiments show that Puppeteer generates more diverse and temporally synchronized gestures than prior methods, while enabling object-grounded gesture synthesis.
- Abstract（参考訳）: 時間的コヒーレントで、意味論的に音声と一致し、周囲の物体と接地する、共同音声ジェスチャを生成することは、依然として困難である。
従来の音声駆動ジェスチャーモデルは、オーディオ・ジェスチャーアライメントを強調するが、姿勢制約や周囲の物体を明示的に考慮していない。
因果潜在空間で動作する姿勢認識型オブジェクト指向音声合成拡散モデルであるPuppeteerについて述べる。
我々は、長いジェスチャーを構造化プリミティブに分解し、因果変化オートエンコーダを学習し、これらを時間的に順序付けられた潜在トークンにエンコードする。
次に, 音声信号, 運動履歴, 初期姿勢基準, 物体形状の条件付けを行い, 物理的に一貫したジェスチャーを合成する。
この時間的に順序付けられた潜在的定式化は、明示的な時間的制御を可能にし、ジェスチャー間相互作用やジェスチャー補完などのタスクをサポートする。
本研究は,既存の測定基準を超えて,協調音声合成の精度を高めるために,この課題に合わせた新たな評価指標を提案する。
我々はまた、SceneGesという、埋め込み音声ジェスチャーと対応する3Dオブジェクトの合成3Dデータセットを初めて作成し、オブジェクトグラウンドジェスチャ生成を可能にした。
実験の結果、Puppeteerは従来の手法よりも多様で時間的に同期されたジェスチャーを生成する一方で、オブジェクトグラウンドのジェスチャー合成を可能にすることがわかった。
関連論文リスト
- WaveSync: Constrained Wavefront Optimization for Synchronized Co-Speech Gestures in Humanoid Robots [2.0424038686449006]
自然な人間とロボットの相互作用には表現力のある共同音声ジェスチャーが不可欠であるが、物理的ヒューマノイドロボットではそれらを生成することは困難である。
大規模言語モデルが対話応答を構造化セマンティックスキーマに分解するハイブリッドフレームワークである textbfWaveSync を提案する。
提案手法は,高同期精度を実現し,主観的評価と主観的評価の両面において3つのベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2026-06-15T11:47:30Z) - Recognizing Co-Speech Gestures in-the-Wild [52.804383193630166]
GRW(Gesture Recognition in the Wild)データセットは156,688本のビデオクリップを手動でアノテートする。
GRWは、物理的行動、空間記述子、抽象概念の非常に多様な150ワードの分類である。
我々はGRWを利用してビデオモデルを訓練し、ジェスチャーを意味的か否かを分類し、(b)共同音声のジェスチャーに対応する単語を認識し、(c)ジェスチャーを時間的に局所化する。
論文 参考訳（メタデータ） (2026-05-29T17:55:17Z) - Semantic Motion Anchors: Bridging Motion and Meaning in Co-Speech Gestures [58.6162288735234]
そこで本稿では, 意味的動作アンカー, ジェスチャー動作の自然言語的抽象化, 物理的形状, コミュニケーション意図を提案する。
本手法は,3次元ジェスチャーを身体動作プリミティブに識別し,言語的に構造化された記述に分類し,転写文にグルーピングする。
BEAT2では,テキスト・モーション・ベースライン上でテキスト・ツー・ジェスチャR@1を8.2%改善する。
論文 参考訳（メタデータ） (2026-05-28T22:01:11Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - ImaGGen: Zero-Shot Generation of Co-Speech Semantic Gestures Grounded in Language and Image Input [0.0]
本稿では, 音声合成における中核的な課題として, 言語発話にセマンティックに一貫性のある, 象徴的, あるいは難解なジェスチャーを生成することを挙げる。
我々は、与えられた言語入力からジェスチャーを生成するゼロショットシステムを導入し、さらに手動のアノテーションや人間の介入なしに、想像的な入力によって通知される。
本結果は,表現的かつ協調的な仮想エージェントやアバターを作成する上で,文脈認識型セマンティックジェスチャの重要性を強調した。
論文 参考訳（メタデータ） (2025-10-20T15:01:56Z) - Emphasizing Semantic Consistency of Salient Posture for Speech-Driven Gesture Generation [44.78811546051805]
音声駆動ジェスチャ生成は、入力音声信号と同期したジェスチャシーケンスを合成することを目的としている。
従来の手法では、ニューラルネットワークを利用して、コンパクトな音声表現をジェスチャーシーケンスに直接マッピングする。
そこで本稿では,姿勢のセマンティック一貫性を重視した音声によるジェスチャー生成手法を提案する。
論文 参考訳（メタデータ） (2024-10-17T17:22:59Z) - ConvoFusion: Multi-Modal Conversational Diffusion for Co-Speech Gesture Synthesis [50.69464138626748]
マルチモーダルなジェスチャー合成のための拡散に基づくアプローチであるConvoFusionを提案する。
提案手法は,条件の異なる条件が与える影響をユーザが調節できる2つの誘導目標を提案する。
本手法は,モノログジェスチャを生成するか,会話ジェスチャを生成するかの訓練が可能である。
論文 参考訳（メタデータ） (2024-03-26T17:59:52Z) - QPGesture: Quantization-Based and Phase-Guided Motion Matching for
Natural Speech-Driven Gesture Generation [8.604430209445695]
音声によるジェスチャー生成は、人間の動きのランダムなジッタのため、非常に困難である。
本稿では,新しい量子化に基づく位相誘導型モーションマッチングフレームワークを提案する。
本手法は,音声によるジェスチャー生成における近年の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:31:25Z) - Audio-Driven Co-Speech Gesture Video Generation [92.15661971086746]
音声駆動型音声合成におけるこの課題を定義し,検討する。
私たちの重要な洞察は、共同音声ジェスチャーは共通の動きパターンと微妙なリズムダイナミクスに分解できるということです。
本稿では,再利用可能な音声のジェスチャーパターンを効果的に捉えるための新しいフレームワークであるAudio-driveN Gesture vIdeo gEneration(ANGIE)を提案する。
論文 参考訳（メタデータ） (2022-12-05T15:28:22Z) - Learning Hierarchical Cross-Modal Association for Co-Speech Gesture
Generation [107.10239561664496]
協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。
提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
論文 参考訳（メタデータ） (2022-03-24T16:33:29Z) - Speech Drives Templates: Co-Speech Gesture Synthesis with Learned
Templates [30.32106465591015]
共同音声ジェスチャ生成は、実際のように見えるだけでなく、入力された音声音声と一致するジェスチャーシーケンスを合成することである。
本手法は腕,手,頭部を含む完全な上半身の動きを生成する。
論文 参考訳（メタデータ） (2021-08-18T07:53:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。