論文の概要: Exploring Timeline Control for Facial Motion Generation
- arxiv url: http://arxiv.org/abs/2505.20861v1
- Date: Tue, 27 May 2025 08:13:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-28 17:05:58.496061
- Title: Exploring Timeline Control for Facial Motion Generation
- Title（参考訳）: 顔の動き生成のためのタイムライン制御の探索
- Authors: Yifeng Ma, Jinwei Qi, Chaonan Ji, Peng Zhang, Bang Zhang, Zhidong Deng, Liefeng Bo,
- Abstract要約: 本稿では,顔の動き生成のための新しい制御信号であるタイムライン制御を提案する。
音声やテキストの信号と比較して、タイムラインは特定の顔の動きを正確なタイミングで生成するなど、よりきめ細かい制御を提供する。
- 参考スコア（独自算出の注目度）: 24.903064994915734
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a new control signal for facial motion generation: timeline control. Compared to audio and text signals, timelines provide more fine-grained control, such as generating specific facial motions with precise timing. Users can specify a multi-track timeline of facial actions arranged in temporal intervals, allowing precise control over the timing of each action. To model the timeline control capability, We first annotate the time intervals of facial actions in natural facial motion sequences at a frame-level granularity. This process is facilitated by Toeplitz Inverse Covariance-based Clustering to minimize human labor. Based on the annotations, we propose a diffusion-based generation model capable of generating facial motions that are natural and accurately aligned with input timelines. Our method supports text-guided motion generation by using ChatGPT to convert text into timelines. Experimental results show that our method can annotate facial action intervals with satisfactory accuracy, and produces natural facial motions accurately aligned with timelines.
- Abstract（参考訳）: 本稿では,顔の動き生成のための新しい制御信号であるタイムライン制御を提案する。
音声やテキストの信号と比較して、タイムラインは特定の顔の動きを正確なタイミングで生成するなど、よりきめ細かい制御を提供する。
ユーザーは、時間間隔で配置された顔アクションのマルチトラックタイムラインを指定することができ、各アクションのタイミングを正確に制御することができる。
タイムライン制御能力をモデル化するために、我々はまず、フレームレベルの粒度で自然な顔の動きシーケンスにおける顔動作の時間間隔をアノテートする。
このプロセスはToeplitz Inverse Covariance-based Clusteringによって促進され、人間の労働力を最小化する。
このアノテーションに基づいて,自然かつ正確に入力タイムラインに整合した顔の動きを生成できる拡散モデルを提案する。
本手法は,ChatGPTを用いてテキストをタイムラインに変換することによってテキスト誘導動作生成を支援する。
実験の結果,提案手法は顔の動作間隔を良好な精度でアノテートすることができ,自然な顔の動きをタイムラインに正確に一致させることができることがわかった。
関連論文リスト
- DartControl: A Diffusion-Based Autoregressive Motion Model for Real-Time Text-Driven Motion Control [12.465927271402442]
テキスト条件付きヒューマンモーション生成は、自然言語によるユーザインタラクションを可能にする。
DartControlは、リアルタイムテキスト駆動モーションコントロールのための拡散ベースの自動回帰モーションプリミティブモデルである。
本モデルは,動作履歴とテキスト入力を併用したコンパクトな動き原始空間を効果的に学習する。
論文 参考訳（メタデータ） (2024-10-07T17:58:22Z) - Temporal Residual Jacobians For Rig-free Motion Transfer [45.640576754352104]
データ駆動型モーショントランスファーを実現するための新しい表現としてResidual Temporal Jacobiansを紹介した。
我々の手法は、リギングや中間形状へのアクセスを前提とせず、幾何学的かつ時間的に一貫した動きを発生させ、長い動き列の転送に利用できる。
論文 参考訳（メタデータ） (2024-07-20T18:29:22Z) - Multi-Track Timeline Control for Text-Driven 3D Human Motion Generation [71.08922726494842]
テキスト駆動動作合成におけるタイムライン制御の問題を紹介する。
ユーザーは単一のプロンプトの代わりに、重複する可能性のある時間間隔に整理された複数のプロンプトのマルチトラックタイムラインを指定することができる。
マルチトラックタイムラインから合成アニメーションを生成するための新しいテスト時間復調手法を提案する。
論文 参考訳（メタデータ） (2024-01-16T18:39:15Z) - DiffusionPhase: Motion Diffusion in Frequency Domain [69.811762407278]
そこで本研究では,テキスト記述から高品質な人間の動作系列を生成する学習手法を提案する。
既存の技術は、任意の長さの動き列を生成する際に、動きの多様性と滑らかな遷移に苦しむ。
動作空間をコンパクトで表現力のあるパラメータ化位相空間に変換するネットワークエンコーダを開発する。
論文 参考訳（メタデータ） (2023-12-07T04:39:22Z) - Synthesizing Long-Term Human Motions with Diffusion Models via Coherent
Sampling [74.62570964142063]
テキスト・トゥ・モーション・ジェネレーションは注目されているが、既存の手法のほとんどは短期的な動きに限られている。
本稿では,2つのコヒーレントサンプリング手法を用いた過去の拡散モデルを用いた新しい手法を提案する。
提案手法は,ユーザの指示した長文ストリームによって制御された,構成的かつコヒーレントな3次元人間の動作を生成することができる。
論文 参考訳（メタデータ） (2023-08-03T16:18:32Z) - Text-driven Video Prediction [83.04845684117835]
テキスト駆動型ビデオ予測(TVP)と呼ばれる新しいタスクを提案する。
本課題は,最初のフレームとテキストキャプションを入力として,以下のフレームを合成することを目的とする。
進行動作情報に対する因果推論におけるテキストの能力を調べるため、我々のTVPフレームワークはテキスト推論モジュール(TIM)を含む。
論文 参考訳（メタデータ） (2022-10-06T12:43:07Z) - Real-time Controllable Motion Transition for Characters [14.88407656218885]
リアルタイムの動作生成はゲームでは普遍的に必要であり、既存のアニメーションパイプラインでは非常に望ましい。
我々のアプローチは、運動多様体と条件遷移という2つの重要な構成要素から構成される。
提案手法は,複数の測定基準の下で測定された高品質な動きを生成できることを示す。
論文 参考訳（メタデータ） (2022-05-05T10:02:54Z) - Hierarchical Style-based Networks for Motion Synthesis [150.226137503563]
本研究では,特定の目標地点を達成するために,長距離・多種多様・多様な行動を生成する自己指導手法を提案する。
提案手法は,長距離生成タスクを階層的に分解することで人間の動作をモデル化する。
大規模な骨格データから, 提案手法は長距離, 多様な, もっともらしい動きを合成できることを示す。
論文 参考訳（メタデータ） (2020-08-24T02:11:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。