論文の概要: InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions
- arxiv url: http://arxiv.org/abs/2304.05684v2
- Date: Fri, 22 Dec 2023 05:42:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 18:57:40.364608
- Title: InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions
- Title(参考訳): 複雑相互作用下での拡散に基づくマルチヒューマンモーション生成
- Authors: Han Liang, Wenqian Zhang, Wenxuan Li, Jingyi Yu, Lan Xu
- Abstract要約: 動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
- 参考スコア(独自算出の注目度): 52.67456181120208
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We have recently seen tremendous progress in diffusion advances for
generating realistic human motions. Yet, they largely disregard the multi-human
interactions. In this paper, we present InterGen, an effective diffusion-based
approach that incorporates human-to-human interactions into the motion
diffusion process, which enables layman users to customize high-quality
two-person interaction motions, with only text guidance. We first contribute a
multimodal dataset, named InterHuman. It consists of about 107M frames for
diverse two-person interactions, with accurate skeletal motions and 23,337
natural language descriptions. For the algorithm side, we carefully tailor the
motion diffusion model to our two-person interaction setting. To handle the
symmetry of human identities during interactions, we propose two cooperative
transformer-based denoisers that explicitly share weights, with a mutual
attention mechanism to further connect the two denoising processes. Then, we
propose a novel representation for motion input in our interaction diffusion
model, which explicitly formulates the global relations between the two
performers in the world frame. We further introduce two novel regularization
terms to encode spatial relations, equipped with a corresponding damping scheme
during the training of our interaction diffusion model. Extensive experiments
validate the effectiveness and generalizability of InterGen. Notably, it can
generate more diverse and compelling two-person motions than previous methods
and enables various downstream applications for human interactions.
- Abstract(参考訳): 最近、現実的な人間の動きを生み出すための拡散の進歩が著しく進んでいる。
しかし、それらは多人の相互作用をほとんど無視している。
本稿では,人間同士のインタラクションを移動拡散プロセスに組み込んだ効果的な拡散に基づくアプローチであるInterGenを提案する。
まず、InterHumanというマルチモーダルデータセットをコントリビュートする。
様々な2人インタラクションのための約107万フレームで構成され、正確な骨格運動と23,337の自然言語記述がある。
アルゴリズム側では、動き拡散モデルを2人のインタラクション設定に注意深く調整します。
相互作用中の人間のアイデンティティの対称性を扱うために,重みを明示的に共有する2つの共用変圧器と,これら2つの重み付けプロセスをさらに接続するための相互注意機構を提案する。
次に,世界フレームにおける2人の演奏者間の世界関係を明示的に定式化したインタラクション拡散モデルにおいて,新たな動き入力表現を提案する。
さらに, 相互作用拡散モデルの学習中に対応する減衰スキームを備える空間関係を符号化する2つの新しい正規化項を導入する。
大規模な実験はInterGenの有効性と一般化性を検証する。
特に、従来の方法よりも多様で説得力のある2人の動作を生成し、人間のインタラクションに様々な下流の応用を可能にする。
関連論文リスト
- ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - InterControl: Generate Human Motion Interactions by Controlling Every
Joint [63.76228576042726]
各関節のフレキシブルな空間制御を実現するために,InterControlという新しい手法を提案する。
粗い空間制御信号が与えられたコヒーレントでリアルな動きを生成するために、モーション制御ネットを組み込む。
HumanML3DとKIT-MLデータセットの実験は、多目的関節制御におけるその効果を実証している。
論文 参考訳(メタデータ) (2023-11-27T14:32:33Z) - InterDiff: Generating 3D Human-Object Interactions with Physics-Informed
Diffusion [29.25063155767897]
本稿では,3次元物体相互作用(HOI)の予測に向けた新しい課題について述べる。
我々のタスクは、様々な形状の動的物体をモデリングし、全身の動きを捉え、物理的に有効な相互作用を確実にする必要があるため、はるかに困難である。
複数の人-物間相互作用データセットを用いた実験は,本手法の有効性を実証し,現実的で,鮮明で,かつ,極めて長期にわたる3D HOI予測を生成できることを示した。
論文 参考訳(メタデータ) (2023-08-31T17:59:08Z) - Priority-Centric Human Motion Generation in Discrete Latent Space [59.401128190423535]
テキスト・ツー・モーション生成のための優先中心運動離散拡散モデル(M2DM)を提案する。
M2DMは、コード崩壊に対処するために、グローバルな自己注意機構と正規化用語を組み込んでいる。
また、各動きトークンの重要度から決定される革新的なノイズスケジュールを用いた動き離散拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-08-28T10:40:16Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳(メタデータ) (2023-07-24T12:21:33Z) - Bipartite Graph Diffusion Model for Human Interaction Generation [11.732108478773196]
二部グラフ拡散法(BiGraphDiff)を提案する。
提案手法は,人間のインタラクション生成タスクの先行ベンチマークにおいて,最新の結果が得られることを示す。
論文 参考訳(メタデータ) (2023-01-24T16:59:46Z) - Interaction Transformer for Human Reaction Generation [61.22481606720487]
本稿では,時間的,空間的両方の注意を持つトランスフォーマーネットワークからなる対話型トランスフォーマー(InterFormer)を提案する。
我々の手法は一般的であり、より複雑で長期的な相互作用を生成するのに利用できる。
論文 参考訳(メタデータ) (2022-07-04T19:30:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。