論文の概要: TalkFlow: Structured Latent Flow Matching for Speech Driven Holistic Motion Generation
- arxiv url: http://arxiv.org/abs/2610.40972v1
- Date: Thu, 29 Oct 2026 20:59:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.49312
- Title: TalkFlow: Structured Latent Flow Matching for Speech Driven Holistic Motion Generation
- Title（参考訳）: TalkFlow: 音声駆動型ホロスティックモーション生成のための構造化ラテントフローマッチング
- Abstract要約: 音声からの協調表情、手の動き、身体の動きを合成することを目的とする。
音声駆動型全体運動生成のための構造化潜在フローフレームワークである textbfTalkFlow を提案する。
TalkFlowは、上半身の動き、下半身の動き、表情のための連続した3ストリームの潜伏表現を学習する。
- 参考スコア（独自算出の注目度）: 9.503496785771299
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Holistic co-speech motion generation aims to synthesize coordinated facial expressions, hand gestures, and body movements from speech, which is challenging due to heterogeneous part-specific dynamics, long-range temporal coherence, and cross-part coordination. Directly modeling high-dimensional motion can be unstable, while overly compact or unstructured latent spaces may lose fine-grained motion details. We present \textbf{TalkFlow}, a structured latent flow framework for speech-driven holistic motion generation. TalkFlow learns a continuous three-stream latent representation for upper-body motion, lower-body motion, and facial expressions, preserving part-specific dynamics without forcing heterogeneous motion components into a single latent space. To maintain holistic coordination, lightweight cross-stream interactions are incorporated in both latent representation learning and flow-based generation. Conditioned on multi-level speech features, TalkFlow performs speech-conditioned latent flow matching, learning a continuous transport process from source latents to realistic motion latents. Experiments on the BEAT2 dataset demonstrate strong performance across facial expression accuracy, body gesture quality, and speech-motion synchronization. Qualitative comparisons and user studies further show that TalkFlow generates more natural, expressive, and speech-aligned holistic motion than state-of-the-art methods. The project page is available at https://xinmuwang.github.io/TalkFlow/.
- Abstract（参考訳）: 不均一な部分特異的なダイナミクス、長距離時間的コヒーレンス、およびクロスパートコーディネートにより困難な音声から、コーディネートされた表情、手の動き、身体の動きを合成することを目的としている。
高次元運動を直接モデル化することは不安定であるが、過度にコンパクトあるいは非構造的な潜在空間は微細な運動の詳細を失うことがある。
本稿では,音声駆動型全体運動生成のための構造化潜在フローフレームワークである「textbf{TalkFlow}」を提案する。
TalkFlowは、上半身の動き、下半身の動き、表情の連続した3ストリームラテント表現を学習し、不均一な動き成分を1つのラテント空間に強制することなく、部分固有のダイナミクスを保存する。
全体整合性を維持するために、潜在表現学習とフローベース生成の両方に軽量なクロスストリームインタラクションが組み込まれている。
マルチレベル音声機能に基づいて、TalkFlowは音声条件付き潜時流マッチングを実行し、ソース潜時からリアルモーション潜時まで連続的な移動過程を学習する。
BEAT2データセットの実験は、表情の精度、身体のジェスチャーの質、音声と動きの同期性に強い性能を示す。
質的な比較とユーザスタディにより、TalkFlowは最先端の手法よりも自然で表現力があり、音声に整合した総体的な動きを生み出すことが示される。
プロジェクトのページはhttps://xinmuwang.github.io/TalkFlow/.comで公開されている。
関連論文リスト
- MoSAT: Human Motion Generation from Spatial Audio and Textual Description [72.30780840344869]
本研究では,空間音声と自然言語を併用した人間の動作合成の新しい課題について検討する。
本稿では,空間音声と詳細なテキストアノテーションを組み合わせた動き系列のデータセットSTAMを紹介する。
自然言語の意図と方向空間音響に基づくフルボディモーション生成のための潜在フローマッチングフレームワークであるMoSATを紹介した。
論文 参考訳（メタデータ） (2026-09-20T18:38:41Z) - ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance [50.482989497576476]
音声による会話キャラクタアニメーションは、自然な会話行動を伝えるライフライクなポートレートビデオを生成する。
既存のアプローチは通常、動的表情や頭部の動きに対して正確な音素間同期をオフにする。
本稿では,事前学習したビデオ生成モデルに基づく,フローマッチング型音声-画像間アニメーションフレームワークReFree-S2Vを提案する。
論文 参考訳（メタデータ） (2026-06-11T13:00:58Z) - MotionHiFlow: Text-to-motion via hierarchical flow matching [23.3063383764363]
テキスト・トゥ・モーション・ジェネレーションは、入力されたテキストと密に一致した3次元の人間の動きを生成することを目的としている。
動きを段階的に生成する階層型フローマッチングフレームワークである textitMotionHiFlow を提案する。
低スケールでのフローは高レベルのセマンティクスと粗い動き構造を捉え、高スケールでのフローは時間的詳細を洗練させる。
論文 参考訳（メタデータ） (2026-04-25T12:16:37Z) - FlowCoMotion: Text-to-Motion Generation via Token-Latent Flow Modeling [3.303238786179896]
FlowCoMotionは、新しいモーション生成フレームワークである。
セマンティックコンテンツと高忠実度モーションの詳細をキャプチャする。
テキスト・ツー・モーションのベンチマークで競争力を発揮する。
論文 参考訳（メタデータ） (2026-04-13T07:04:47Z) - HO-Flow: Generalizable Hand-Object Interaction Generation with Latent Flow Matching [113.81911881001905]
HO-Flowはテキストと正準3Dオブジェクトから現実的な手動動作シーケンスを合成するためのフレームワークである。
まず、手動と物体の動きのシーケンスを統一された潜在多様体に符号化するために、相互作用を意識した変分オートエンコーダを用いる。
次に、自己回帰的時間的推論と連続的な潜伏生成を組み合わせたマスク付きフローマッチングモデルを利用する。
論文 参考訳（メタデータ） (2026-04-12T22:06:11Z) - MIBURI: Towards Expressive Interactive Gesture Synthesis [62.45332399212876]
Embodied Conversational Agents (ECA) は、音声、ジェスチャー、表情を通じて人間の対面相互作用をエミュレートすることを目的としている。
既存のECAの解は、人間のような相互作用には適さない剛性で低多様性の運動を生み出す。
MIBURIは,リアルタイム音声対話と同期した表現力のあるフルボディジェスチャーと表情を生成するための,最初のオンライン因果的フレームワークである。
論文 参考訳（メタデータ） (2026-03-03T18:59:51Z) - Unified Multi-Modal Interactive & Reactive 3D Motion Generation via Rectified Flow [17.95248351806955]
マルチモーダルな2人動作生成のためのフレームワークであるDualFlowを紹介する。
テキスト、音楽、先行の動作シーケンスを含む様々な入力で動きを合成する。
時間的にコヒーレントでリズミカルに同期した動作を生成し、マルチモーダルな人間の動作生成において最先端の動作を設定する。
論文 参考訳（メタデータ） (2025-09-28T22:36:18Z) - MoFusion: A Framework for Denoising-Diffusion-based Motion Synthesis [73.52948992990191]
MoFusionは、高品質な条件付き人間のモーション合成のための新しいノイズ拡散ベースのフレームワークである。
本研究では,運動拡散フレームワーク内での運動可視性に対して,よく知られたキネマティック損失を導入する方法を提案する。
文献の確立されたベンチマークにおけるMoFusionの有効性を,技術の現状と比較した。
論文 参考訳（メタデータ） (2022-12-08T18:59:48Z) - Freeform Body Motion Generation from Speech [53.50388964591343]
音声から体の動きを生成することは、音声から体の動きへの非決定論的マッピングのために本質的に困難である。
2ストリームアーキテクチャを組み込んだ新しいフリーフォームモーション生成モデル(FreeMo)を提案する。
実験は、いくつかのベースラインに対して優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2022-03-04T13:03:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。