論文の概要: InterControl: Generate Human Motion Interactions by Controlling Every
Joint
- arxiv url: http://arxiv.org/abs/2311.15864v1
- Date: Mon, 27 Nov 2023 14:32:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-28 14:51:41.277892
- Title: InterControl: Generate Human Motion Interactions by Controlling Every
Joint
- Title(参考訳): InterControl: 全関節制御による人間の動作インタラクションの生成
- Authors: Zhenzhi Wang, Jingbo Wang, Dahua Lin, Bo Dai
- Abstract要約: 各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。
粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。
HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
- 参考スコア(独自算出の注目度): 63.76228576042726
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Text-conditioned human motion generation model has achieved great progress by
introducing diffusion models and corresponding control signals. However, the
interaction between humans are still under explored. To model interactions of
arbitrary number of humans, we define interactions as human joint pairs that
are either in contact or separated, and leverage {\em Large Language Model
(LLM) Planner} to translate interaction descriptions into contact plans. Based
on the contact plans, interaction generation could be achieved by spatially
controllable motion generation methods by taking joint contacts as spatial
conditions. We present a novel approach named InterControl for flexible spatial
control of every joint in every person at any time by leveraging motion
diffusion model only trained on single-person data. We incorporate a motion
controlnet to generate coherent and realistic motions given sparse spatial
control signals and a loss guidance module to precisely align any joint to the
desired position in a classifier guidance manner via Inverse Kinematics (IK).
Extensive experiments on HumanML3D and KIT-ML dataset demonstrate its
effectiveness in versatile joint control. We also collect data of joint contact
pairs by LLMs to show InterControl's ability in human interaction generation.
- Abstract(参考訳): テキスト条件付き人間の動き生成モデルは拡散モデルと対応する制御信号を導入することで大きな進歩を遂げた。
しかし、人間同士の相互作用はまだ検討中である。
任意の数の人間の相互作用をモデル化するために、相互作用を接触または分離されたヒトの関節対として定義し、相互作用記述を接触計画に翻訳するために {\em Large Language Model (LLM) Planner} を利用する。
接触計画に基づいて、関節接触を空間条件とする空間制御可能な運動生成法により、相互作用生成を実現することができる。
本稿では,一人称データのみを訓練した運動拡散モデルを用いて,任意の時点における各関節の柔軟な空間制御のためのintercontrolという新しい手法を提案する。
Inverse Kinematics (IK) を用いた分類器誘導方式で, 粗い空間制御信号が与えられたコヒーレントで現実的な動きを生成するためのモーション制御ネットと, 任意の関節を所望の位置に正確に整合させるための損失誘導モジュールを組み込んだ。
HumanML3DとKIT-MLデータセットの大規模な実験は、多目的関節制御におけるその効果を実証している。
また,人間のインタラクション生成におけるInterControlの能力を示すために,LLMによる関節接触対のデータも収集する。
関連論文リスト
- Learning Mutual Excitation for Hand-to-Hand and Human-to-Human
Interaction Recognition [22.538114033191313]
相互励起グラフ畳み込み層を積み重ねた相互励起グラフ畳み込みネットワーク(me-GCN)を提案する。
Me-GCは各レイヤとグラフ畳み込み操作の各ステージで相互情報を学習する。
提案するme-GCは,最先端GCN法およびTransformer法より優れている。
論文 参考訳(メタデータ) (2024-02-04T10:00:00Z) - HOI-Diff: Text-Driven Synthesis of 3D Human-Object Interactions using
Diffusion Models [45.16955053939174]
ひとつのモデルではなく,モジュール化された設計を採用して,複雑なタスクをシンプルなサブタスクに分解する,というのが私たちの重要な洞察です。
まず、入力テキストに条件付けされた人間と物体の両方の動きを生成するための二重分岐拡散モデル(HOI-DM)を開発する。
また,人間と物体の接触領域を予測するためのアベイランス予測拡散モデル(APDM)を開発した。
論文 参考訳(メタデータ) (2023-12-11T17:41:17Z) - HandDiffuse: Generative Controllers for Two-Hand Interactions via
Diffusion Models [48.56319454887096]
既存の手データセットは概ね短距離であり、手の自己閉塞と自己相似性のために相互作用は弱い。
データの不足を解消するために,強い双方向相互作用を持つ時間列からなる新しいデータセットであるHandDiffuse12.5Mを提案する。
論文 参考訳(メタデータ) (2023-12-08T07:07:13Z) - Controllable Human-Object Interaction Synthesis [81.45852197029363]
本稿では,物体の動きと人体の動きを同時に生成するCHOIS(C Controllable Human-Object Interaction Synthesis)を提案する。
我々は、言語記述、初期オブジェクトと人間の状態、およびスパースオブジェクトのウェイポイントが与えられた条件拡散モデルを使用する。
これらの問題を克服するために、生成した物体の動きと入力対象の経路点との整合性を改善するために、追加の監督としてオブジェクト幾何損失を導入する。
論文 参考訳(メタデータ) (2023-12-06T21:14:20Z) - OmniControl: Control Any Joint at Any Time for Human Motion Generation [49.66617487733835]
テキスト条件付き人体動作生成モデルにフレキシブルな空間制御信号を統合するために,OmniControlという新しい手法を提案する。
本稿では,入力制御信号に厳密に適合した動作を実現するための解析的空間ガイダンスを提案する。
同時に、全ての関節を洗練してよりコヒーレントな動きを生み出すためにリアリズムガイダンスが導入された。
論文 参考訳(メタデータ) (2023-10-12T17:59:38Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions [52.67456181120208]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z) - COUCH: Towards Controllable Human-Chair Interactions [44.66450508317131]
物体上の異なる接触位置を条件としたシーン相互作用の合成問題について検討する。
手の接触認識制御信号を予測して動きを先導する新しい合成フレームワークCOUCHを提案する。
本手法は,既存の人間と物体の相互作用法に比べて,定量的,定性的な改善を示す。
論文 参考訳(メタデータ) (2022-05-01T19:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。