論文の概要: InterControl: Generate Human Motion Interactions by Controlling Every Joint

• arxiv url: http://arxiv.org/abs/2311.15864v1
• Date: Mon, 27 Nov 2023 14:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-28 14:51:41.277892
• Title: InterControl: Generate Human Motion Interactions by Controlling Every Joint
• Title（参考訳）: InterControl: 全関節制御による人間の動作インタラクションの生成
• Authors: Zhenzhi Wang, Jingbo Wang, Dahua Lin, Bo Dai
• Abstract要約: 各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。 粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。 HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
• 参考スコア（独自算出の注目度）: 63.76228576042726
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text-conditioned human motion generation model has achieved great progress by introducing diffusion models and corresponding control signals. However, the interaction between humans are still under explored. To model interactions of arbitrary number of humans, we define interactions as human joint pairs that are either in contact or separated, and leverage {\em Large Language Model (LLM) Planner} to translate interaction descriptions into contact plans. Based on the contact plans, interaction generation could be achieved by spatially controllable motion generation methods by taking joint contacts as spatial conditions. We present a novel approach named InterControl for flexible spatial control of every joint in every person at any time by leveraging motion diffusion model only trained on single-person data. We incorporate a motion controlnet to generate coherent and realistic motions given sparse spatial control signals and a loss guidance module to precisely align any joint to the desired position in a classifier guidance manner via Inverse Kinematics (IK). Extensive experiments on HumanML3D and KIT-ML dataset demonstrate its effectiveness in versatile joint control. We also collect data of joint contact pairs by LLMs to show InterControl's ability in human interaction generation.
• Abstract（参考訳）: テキスト条件付き人間の動き生成モデルは拡散モデルと対応する制御信号を導入することで大きな進歩を遂げた。 しかし、人間同士の相互作用はまだ検討中である。 任意の数の人間の相互作用をモデル化するために、相互作用を接触または分離されたヒトの関節対として定義し、相互作用記述を接触計画に翻訳するために {\em Large Language Model (LLM) Planner} を利用する。 接触計画に基づいて、関節接触を空間条件とする空間制御可能な運動生成法により、相互作用生成を実現することができる。 本稿では,一人称データのみを訓練した運動拡散モデルを用いて,任意の時点における各関節の柔軟な空間制御のためのintercontrolという新しい手法を提案する。 Inverse Kinematics (IK) を用いた分類器誘導方式で, 粗い空間制御信号が与えられたコヒーレントで現実的な動きを生成するためのモーション制御ネットと, 任意の関節を所望の位置に正確に整合させるための損失誘導モジュールを組み込んだ。 HumanML3DとKIT-MLデータセットの大規模な実験は、多目的関節制御におけるその効果を実証している。 また,人間のインタラクション生成におけるInterControlの能力を示すために,LLMによる関節接触対のデータも収集する。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• in2IN: Leveraging individual Information to Generate Human INteractions [29.495166514135295]
  In2IN(in2IN)は、人間と人間の動作生成を個別に記述した新しい拡散モデルである。 In2INで生成された動きと、HumanML3Dで事前訓練された1人の動きによって生成された動きとを組み合わせたモデル合成手法であるDualMDMを提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:59:04Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
  動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。 我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。 本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
  論文  参考訳（メタデータ） (2023-04-12T08:12:29Z)
• Interaction Transformer for Human Reaction Generation [61.22481606720487]
  本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。 我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-07-04T19:30:41Z)
• COUCH: Towards Controllable Human-Chair Interactions [44.66450508317131]
  物体上の異なる接触位置を条件としたシーン相互作用の合成問題について検討する。 手の接触認識制御信号を予測して動きを先導する新しい合成フレームワークCOUCHを提案する。 本手法は,既存の人間と物体の相互作用法に比べて,定量的,定性的な改善を示す。
  論文  参考訳（メタデータ） (2022-05-01T19:14:22Z)
• GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction [14.023527193608144]
  本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。 合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
  論文  参考訳（メタデータ） (2021-10-01T13:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。