論文の概要: InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint

• arxiv url: http://arxiv.org/abs/2311.15864v4
• Date: Thu, 21 Nov 2024 03:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-22 15:16:19.983315
• Title: InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint
• Title（参考訳）: InterControl: 全関節制御によるゼロショットヒューマンインタラクション生成
• Authors: Zhenzhi Wang, Jingbo Wang, Yixuan Li, Dahua Lin, Bo Dai,
• Abstract要約: 関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
• 参考スコア（独自算出の注目度）: 67.6297384588837
• License:
• Abstract: Text-conditioned motion synthesis has made remarkable progress with the emergence of diffusion models. However, the majority of these motion diffusion models are primarily designed for a single character and overlook multi-human interactions. In our approach, we strive to explore this problem by synthesizing human motion with interactions for a group of characters of any size in a zero-shot manner. The key aspect of our approach is the adaptation of human-wise interactions as pairs of human joints that can be either in contact or separated by a desired distance. In contrast to existing methods that necessitate training motion generation models on multi-human motion datasets with a fixed number of characters, our approach inherently possesses the flexibility to model human interactions involving an arbitrary number of individuals, thereby transcending the limitations imposed by the training data. We introduce a novel controllable motion generation method, InterControl, to encourage the synthesized motions maintaining the desired distance between joint pairs. It consists of a motion controller and an inverse kinematics guidance module that realistically and accurately aligns the joints of synthesized characters to the desired location. Furthermore, we demonstrate that the distance between joint pairs for human-wise interactions can be generated using an off-the-shelf Large Language Model (LLM). Experimental results highlight the capability of our framework to generate interactions with multiple human characters and its potential to work with off-the-shelf physics-based character simulators. Code is available at https://github.com/zhenzhiwang/intercontrol
• Abstract（参考訳）: テキスト条件の運動合成は拡散モデルの出現とともに顕著な進歩を遂げた。 しかしながら、これらの運動拡散モデルの大部分は、主に1つのキャラクタのために設計され、マルチヒューマンインタラクションを見落としている。 提案手法では, ゼロショット方式で, 任意の大きさの文字群に対して, 人間の動きと相互作用を合成することにより, この問題を探究する。 このアプローチのキーとなる側面は、人間の関節のペアとして人間のインタラクションを適応させることです。 固定数の文字を持つ多人数動作データセット上でのトレーニング動作生成モデルを必要とする既存の手法とは対照的に,本手法は,任意の個数の個人を含む人間のインタラクションをモデル化する柔軟性を持ち,トレーニングデータに課される制約を超越する。 関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 モーションコントローラと逆キネマティクス誘導モジュールで構成されており、合成された文字の関節を所望の場所に現実的に正確に整列させる。 さらに, 既成のLarge Language Model (LLM) を用いて, ヒューマンインタラクションのための接合対間距離を生成できることを実証した。 実験結果から,本フレームワークが複数の人体文字とのインタラクションを生成する能力と,既成の物理系シミュレータで作業する可能性を強調した。 コードはhttps://github.com/zhenzhiwang/intercontrolで入手できる。

関連論文リスト

• Sitcom-Crafter: A Plot-Driven Human Motion Generation System in 3D Scenes [83.55301458112672]
  Sitcom-Crafterは3D空間における人間のモーション生成システムである。 機能生成モジュールの中心は、我々の新しい3Dシーン対応ヒューマン・ヒューマン・インタラクションモジュールである。 拡張モジュールは、コマンド生成のためのプロット理解、異なるモーションタイプのシームレスな統合のためのモーション同期を含む。
  論文  参考訳（メタデータ） (2024-10-14T17:56:19Z)
• in2IN: Leveraging individual Information to Generate Human INteractions [29.495166514135295]
  In2IN(in2IN)は、人間と人間の動作生成を個別に記述した新しい拡散モデルである。 In2INで生成された動きと、HumanML3Dで事前訓練された1人の動きによって生成された動きとを組み合わせたモデル合成手法であるDualMDMを提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:59:04Z)
• Controllable Human-Object Interaction Synthesis [77.56877961681462]
  本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。 ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。 我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
  論文  参考訳（メタデータ） (2023-12-06T21:14:20Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• NIFTY: Neural Object Interaction Fields for Guided Human Motion Synthesis [21.650091018774972]
  我々は、特定の物体に付随する神経相互作用場を作成し、人間のポーズを入力として与えられた有効な相互作用多様体までの距離を出力する。 この相互作用場は、対象条件付きヒトの運動拡散モデルのサンプリングを導く。 いくつかの物体で座ったり持ち上げたりするための現実的な動きを合成し、動きの質や動作完了の成功の観点から、代替のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2023-07-14T17:59:38Z)
• InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
  動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。 我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。 本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
  論文  参考訳（メタデータ） (2023-04-12T08:12:29Z)
• Interaction Transformer for Human Reaction Generation [61.22481606720487]
  本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。 我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
  論文  参考訳（メタデータ） (2022-07-04T19:30:41Z)
• COUCH: Towards Controllable Human-Chair Interactions [44.66450508317131]
  物体上の異なる接触位置を条件としたシーン相互作用の合成問題について検討する。 手の接触認識制御信号を予測して動きを先導する新しい合成フレームワークCOUCHを提案する。 本手法は,既存の人間と物体の相互作用法に比べて,定量的,定性的な改善を示す。
  論文  参考訳（メタデータ） (2022-05-01T19:14:22Z)
• GAN-based Reactive Motion Synthesis with Class-aware Discriminators for Human-human Interaction [14.023527193608144]
  本稿では,他のキャラクタからアクティブな動作を与えられたキャラクタの反応運動を合成する半教師付きGANシステムを提案する。 合成運動の高品質さは, ジェネレータの有効設計を示し, 合成の識別性もまた, 判別器の強度を示している。
  論文  参考訳（メタデータ） (2021-10-01T13:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。