論文の概要: OmniControl: Control Any Joint at Any Time for Human Motion Generation

• arxiv url: http://arxiv.org/abs/2310.08580v2
• Date: Sun, 14 Apr 2024 22:23:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-16 23:37:19.039770
• Title: OmniControl: Control Any Joint at Any Time for Human Motion Generation
• Title（参考訳）: OmniControl:人間の動きをいつでもコントロールできる関節
• Authors: Yiming Xie, Varun Jampani, Lei Zhong, Deqing Sun, Huaizu Jiang,
• Abstract要約: テキスト条件付き人体動作生成モデルにフレキシブルな空間制御信号を統合するために,OmniControlという新しい手法を提案する。 本稿では,入力制御信号に厳密に適合した動作を実現するための解析的空間ガイダンスを提案する。 同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。
• 参考スコア（独自算出の注目度）: 46.293854851116215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel approach named OmniControl for incorporating flexible spatial control signals into a text-conditioned human motion generation model based on the diffusion process. Unlike previous methods that can only control the pelvis trajectory, OmniControl can incorporate flexible spatial control signals over different joints at different times with only one model. Specifically, we propose analytic spatial guidance that ensures the generated motion can tightly conform to the input control signals. At the same time, realism guidance is introduced to refine all the joints to generate more coherent motion. Both the spatial and realism guidance are essential and they are highly complementary for balancing control accuracy and motion realism. By combining them, OmniControl generates motions that are realistic, coherent, and consistent with the spatial constraints. Experiments on HumanML3D and KIT-ML datasets show that OmniControl not only achieves significant improvement over state-of-the-art methods on pelvis control but also shows promising results when incorporating the constraints over other joints.
• Abstract（参考訳）: 本稿では, フレキシブルな空間制御信号を拡散過程に基づくテキスト条件付き人体運動生成モデルに組み込む, OmniControl という新しい手法を提案する。 骨盤軌道のみを制御する従来の方法とは異なり、OmniControlは1つのモデルで異なる時間に異なる関節に柔軟な空間制御信号を組み込むことができる。 具体的には、生成した動作が入力制御信号に厳密に適合することを保証するための解析的空間ガイダンスを提案する。 同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。 空間的およびリアリズムのガイダンスはどちらも不可欠であり、制御精度と運動リアリズムのバランスをとるために非常に相補的である。 これらを組み合わせることで、OmniControlは現実的で一貫性があり、空間的制約と整合する動きを生成する。 HumanML3DとKIT-MLデータセットの実験では、OmniControlはペルビス制御における最先端の手法よりも大幅に改善されているだけでなく、他の関節に制約を加える際に有望な結果も示している。

関連論文リスト

• ControlMM: Controllable Masked Motion Generation [38.16884934336603]
  生成マスク運動モデルに空間制御信号を組み込む新しい手法である制御MMを提案する。 ControlMMは、リアルタイム、高忠実、高精度な制御可能なモーション生成を同時に達成する。 ControlMMは拡散法よりも20倍速く動きを生成する。
  論文  参考訳（メタデータ） (2024-10-14T17:50:27Z)
• Local Action-Guided Motion Diffusion Model for Text-to-Motion Generation [52.87672306545577]
  既存の動き生成法は主に大域運動の直接合成に焦点を当てている。 本研究では,局所動作を微粒化制御信号として利用することにより,グローバルな動き生成を容易にする局所動作誘導型動き拡散モデルを提案する。 本手法は,様々な局所動作と連続誘導重み調整をシームレスに組み合わせる柔軟性を提供する。
  論文  参考訳（メタデータ） (2024-07-15T08:35:00Z)
• MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model [29.93359157128045]
  この研究は、制御可能なモーション生成をリアルタイムレベルに拡張するMotionLCMを導入している。 まず, 遅延拡散モデルに基づく動き生成のための動き潜時一貫性モデル (MotionLCM) を提案する。 一段階(もしくは数段階)の推論を採用することにより、動作生成のための動き潜伏拡散モデルの実行効率をさらに向上する。
  論文  参考訳（メタデータ） (2024-04-30T17:59:47Z)
• TLControl: Trajectory and Language Control for Human Motion Synthesis [68.09806223962323]
  本稿では,人間のリアルな動き合成のための新しい手法であるTLControlを提案する。 低レベルのTrajectoryと高レベルのLanguage semanticsコントロールが組み込まれている。 インタラクティブで高品質なアニメーション生成には実用的である。
  論文  参考訳（メタデータ） (2023-11-28T18:54:16Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Cocktail: Mixing Multi-Modality Controls for Text-Conditional Image Generation [79.8881514424969]
  テキスト条件拡散モデルは多種多様な内容の高忠実度画像を生成することができる。 しかし、言語表現はしばしば、想定された目的像の曖昧な記述を示す。 様々なモダリティを1つの埋め込みに混ぜるパイプラインであるCocktailを提案する。
  論文  参考訳（メタデータ） (2023-06-01T17:55:32Z)
• Guided Motion Diffusion for Controllable Human Motion Synthesis [18.660523853430497]
  本稿では,空間的制約を運動生成プロセスに組み込む手法として,誘導運動拡散(GMD)を提案する。 具体的には、空間情報と局所的なポーズの一貫性を高めるために、動きの表現を操作する効果的な特徴投影方式を提案する。 本実験はGMDの開発を正当化し,テキストベースモーション生成における最先端手法を大幅に改善する。
  論文  参考訳（メタデータ） (2023-05-21T21:54:31Z)
• Controllable Text Generation via Probability Density Estimation in the Latent Space [16.962510129437558]
  本稿では,潜在空間における確率密度推定を用いた新しい制御フレームワークを提案する。 本手法では,非可逆変換関数である正規化フローを用いて,潜在空間の複素分布を先行空間の単純ガウス分布にマッピングする。 単一属性制御と多属性制御の実験により,本手法は属性関連性やテキスト品質の強いベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-12-16T07:11:18Z)
• MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
  多様な動きを合成する無条件生成モデルであるMoDiを提案する。 我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。 データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T09:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。