論文の概要: Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction

• arxiv url: http://arxiv.org/abs/2307.12729v1
• Date: Mon, 24 Jul 2023 12:21:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-25 14:33:16.212661
• Title: Persistent-Transient Duality: A Multi-mechanism Approach for Modeling Human-Object Interaction
• Title（参考訳）: Persistent-Transient Duality:人間と物体の相互作用をモデル化するためのマルチメカリズムアプローチ
• Authors: Hung Tran, Vuong Le, Svetha Venkatesh, Truyen Tran
• Abstract要約: 人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。 人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。 本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
• 参考スコア（独自算出の注目度）: 58.67761673662716
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans are highly adaptable, swiftly switching between different modes to progressively handle different tasks, situations and contexts. In Human-object interaction (HOI) activities, these modes can be attributed to two mechanisms: (1) the large-scale consistent plan for the whole activity and (2) the small-scale children interactive actions that start and end along the timeline. While neuroscience and cognitive science have confirmed this multi-mechanism nature of human behavior, machine modeling approaches for human motion are trailing behind. While attempted to use gradually morphing structures (e.g., graph attention networks) to model the dynamic HOI patterns, they miss the expeditious and discrete mode-switching nature of the human motion. To bridge that gap, this work proposes to model two concurrent mechanisms that jointly control human motion: the Persistent process that runs continually on the global scale, and the Transient sub-processes that operate intermittently on the local context of the human while interacting with objects. These two mechanisms form an interactive Persistent-Transient Duality that synergistically governs the activity sequences. We model this conceptual duality by a parent-child neural network of Persistent and Transient channels with a dedicated neural module for dynamic mechanism switching. The framework is trialed on HOI motion forecasting. On two rich datasets and a wide variety of settings, the model consistently delivers superior performances, proving its suitability for the challenge.
• Abstract（参考訳）: 人間は高度に適応可能で、異なるモードを素早く切り替えて、異なるタスク、状況、状況を扱う。 人間と物体の相互作用(hoi)では、これらのモードは、(1)活動全体に対する大規模一貫した計画と(2)時間軸に沿って開始・終了する小規模の子供の対話行動の2つのメカニズムによって引き起こされる。 神経科学と認知科学は、人間の行動のマルチメカリズムの性質を証明しているが、人間の動きのマシンモデリングアプローチは後を追っている。 段階的なモーフィング構造(グラフアテンションネットワークなど)を使用して動的hoiパターンをモデル化しようとしたが、人間の動きの迅速かつ離散的なモード切替の性質を見逃していた。 このギャップを埋めるため,本研究は,人間の運動を協調的に制御する2つの並列機構をモデル化することを提案する。 これら2つのメカニズムは、活動シーケンスを相乗的に支配する対話的永続-過渡双対を形成する。 我々は,この概念的双対性を,動的機構スイッチングのための専用ニューラルモジュールを用いた持続的・過渡的チャネルの親子ニューラルネットワークによってモデル化する。 このフレームワークはHOIモーション予測で試行されている。 2つのリッチデータセットと多種多様な設定において、モデルは常に優れたパフォーマンスを提供し、挑戦に適合することを証明する。

関連論文リスト

• in2IN: Leveraging individual Information to Generate Human INteractions [29.495166514135295]
  In2IN(in2IN)は、人間と人間の動作生成を個別に記述した新しい拡散モデルである。 In2INで生成された動きと、HumanML3Dで事前訓練された1人の動きによって生成された動きとを組み合わせたモデル合成手法であるDualMDMを提案する。
  論文  参考訳（メタデータ） (2024-04-15T17:59:04Z)
• ReMoS: 3D Motion-Conditioned Reaction Synthesis for Two-Person Interactions [66.87211993793807]
  本稿では,2人のインタラクションシナリオにおいて,人の全身運動を合成する拡散モデルReMoSを提案する。 ペアダンス,忍術,キックボクシング,アクロバティックといった2人のシナリオでReMoSを実証する。 また,全身動作と指の動きを含む2人のインタラクションに対してReMoCapデータセットを寄贈した。
  論文  参考訳（メタデータ） (2023-11-28T18:59:52Z)
• InterControl: Zero-shot Human Interaction Generation by Controlling Every Joint [67.6297384588837]
  関節間の所望距離を維持するために,新しい制御可能な運動生成手法であるInterControlを導入する。 そこで本研究では,既成の大規模言語モデルを用いて,ヒューマンインタラクションのための結合ペア間の距離を生成できることを実証した。
  論文  参考訳（メタデータ） (2023-11-27T14:32:33Z)
• Stochastic Multi-Person 3D Motion Forecasting [21.915057426589744]
  我々は、人間の動き予測に先立つ作業において、無視された現実世界の複雑さに対処する。 私たちのフレームワークは一般的なもので、異なる生成モデルでインスタンス化します。 このアプローチは多種多人数の予測を多種多様な精度で生成し,技術水準を著しく上回っている。
  論文  参考訳（メタデータ） (2023-06-08T17:59:09Z)
• InterGen: Diffusion-based Multi-human Motion Generation under Complex Interactions [49.097973114627344]
  動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。 我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。 本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
  論文  参考訳（メタデータ） (2023-04-12T08:12:29Z)
• Task-Oriented Human-Object Interactions Generation with Implicit Neural Representations [61.659439423703155]
  TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成 本手法は時間座標のみでパラメータ化される連続運動を生成する。 この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
  論文  参考訳（メタデータ） (2023-03-23T09:31:56Z)
• Persistent-Transient Duality in Human Behavior Modeling [58.67761673662716]
  本稿では,親子型マルチチャネルニューラルネットワークを用いて,人間の行動における永続的・過渡的双対性をモデル化する。 本モデルは,人間と物体の相互作用動作予測において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-04-21T04:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。