論文の概要: TIMotion: Temporal and Interactive Framework for Efficient Human-Human Motion Generation
- arxiv url: http://arxiv.org/abs/2408.17135v2
- Date: Fri, 22 Nov 2024 11:46:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:01:16.852514
- Title: TIMotion: Temporal and Interactive Framework for Efficient Human-Human Motion Generation
- Title（参考訳）: TIMotion:ヒューマン・ヒューマン・モーション・ジェネレーションのための時間的・インタラクティブなフレームワーク
- Authors: Yabiao Wang, Shuo Wang, Jiangning Zhang, Ke Fan, Jiafu Wu, Zhucun Xue, Yong Liu,
- Abstract要約: 本稿では,人間の動作生成のための効率的かつ効果的なフレームワークであるTIMotion(Temporal and Interactive Modeling)を紹介する。
本稿では2つの異なるシーケンスを時間的および因果的特性を利用した因果的シーケンスとしてモデル化するための因果的対話注入を提案する。
よりスムーズで合理的な動きを生成するために,短期動作パターンをキャプチャする局所パターン増幅法を設計した。
- 参考スコア（独自算出の注目度）: 30.734182958106327
- License:
- Abstract: Human-human motion generation is essential for understanding humans as social beings. Current methods fall into two main categories: single-person-based methods and separate modeling-based methods. To delve into this field, we abstract the overall generation process into a general framework MetaMotion, which consists of two phases: temporal modeling and interaction mixing. For temporal modeling, the single-person-based methods concatenate two people into a single one directly, while the separate modeling-based methods skip the modeling of interaction sequences. The inadequate modeling described above resulted in sub-optimal performance and redundant model parameters. In this paper, we introduce TIMotion (Temporal and Interactive Modeling), an efficient and effective framework for human-human motion generation. Specifically, we first propose Causal Interactive Injection to model two separate sequences as a causal sequence leveraging the temporal and causal properties. Then we present Role-Evolving Scanning to adjust to the change in the active and passive roles throughout the interaction. Finally, to generate smoother and more rational motion, we design Localized Pattern Amplification to capture short-term motion patterns. Extensive experiments on InterHuman and InterX demonstrate that our method achieves superior performance. The project code will be released upon acceptance. Project page: https://aigc-explorer.github.io/TIMotion-page/
- Abstract（参考訳）: 人間-人間の運動生成は、人間を社会的存在として理解するために不可欠である。
現在の手法は2つの主要なカテゴリに分類される。
この分野を掘り下げるために、私たちは全体生成プロセスを、時間的モデリングと相互作用混合という2つのフェーズからなる一般的なフレームワークMetaMotionに抽象化します。
時間的モデリングでは、個人ベースの手法は2人を1つにまとめるが、別のモデリングベースの手法は相互作用シーケンスのモデリングを省略する。
上述した不適切なモデリングは、サブ最適性能と冗長モデルパラメータをもたらす。
本稿では,人間の動作生成のための効率的かつ効果的なフレームワークであるTIMotion(Temporal and Interactive Modeling)を紹介する。
具体的には、まず、時間的および因果的特性を利用した因果的シーケンスとして、2つの異なるシーケンスをモデル化するための因果的対話注入を提案する。
次に、インタラクション全体を通して、アクティブな役割とパッシブな役割の変化を調整するために、ロール進化走査を提案する。
最後に、よりスムーズで合理的な動きを生成するために、短期的な動きパターンを捉えるために局所パターン増幅を設計する。
InterHuman と InterX の大規模な実験により,本手法が優れた性能を発揮することが示された。
プロジェクトのコードは受理時にリリースされます。
プロジェクトページ:https://aigc-explorer.github.io/TIMotion-page/
関連論文リスト
- A Decoupled Spatio-Temporal Framework for Skeleton-based Action
Segmentation [89.86345494602642]
既存の手法は、弱い時間的モデリング能力に制限されている。
この問題に対処するために、Decoupled Scoupled Framework (DeST)を提案する。
DeSTは計算量が少なく、現在の最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-12-10T09:11:39Z) - InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。
そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
論文 参考訳（メタデータ） (2023-11-27T14:32:33Z) - Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction [58.67761673662716]
人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
論文 参考訳（メタデータ） (2023-07-24T12:21:33Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳（メタデータ） (2023-04-12T08:12:29Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳（メタデータ） (2023-03-23T09:31:56Z) - Human Motion Diffusion as a Generative Prior [20.004837564647367]
拡散先行に基づく3種類の合成法を提案する。
長いシーケンス生成の課題に取り組みます。
並列合成を用いて、2人の世代に向けた有望なステップを示す。
論文 参考訳（メタデータ） (2023-03-02T17:09:27Z) - Bipartite Graph Diffusion Model for Human Interaction Generation [11.732108478773196]
二部グラフ拡散法(BiGraphDiff)を提案する。
提案手法は,人間のインタラクション生成タスクの先行ベンチマークにおいて,最新の結果が得られることを示す。
論文 参考訳（メタデータ） (2023-01-24T16:59:46Z) - Pretrained Diffusion Models for Unified Human Motion Synthesis [33.41816844381057]
MoFusionは統合されたモーション合成のためのフレームワークである。
多様な制御信号の挿入を容易にするためにTransformerのバックボーンを使用している。
また、身体部分の運動完了から全身運動生成まで、多粒性合成をサポートする。
論文 参考訳（メタデータ） (2022-12-06T09:19:21Z) - MotionDiffuse: Text-Driven Human Motion Generation with Diffusion Model [35.32967411186489]
MotionDiffuseは拡散モデルに基づくテキスト駆動モーション生成フレームワークである。
複雑なデータ分散をモデル化し、鮮やかなモーションシーケンスを生成するのに優れています。
体の部分のきめ細かい指示に反応し、時間経過したテキストプロンプトで任意の長さのモーション合成を行う。
論文 参考訳（メタデータ） (2022-08-31T17:58:54Z) - Perpetual Motion: Generating Unbounded Human Motion [61.40259979876424]
我々は、長期的な予測、つまり、人間の動きの長いシーケンスを生成することに焦点を当てる。
本研究では,非決定論的,テキストに変化する,永続的な人間の動きを生成するモデルを提案する。
我々は、これをホワイトノイズガウス過程のKL分岐の重み付き関数を用いて訓練し、潜時シーケンスの時間依存性を許容する。
論文 参考訳（メタデータ） (2020-07-27T21:50:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。