論文の概要: Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction
- arxiv url: http://arxiv.org/abs/2307.12729v1
- Date: Mon, 24 Jul 2023 12:21:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 14:33:16.212661
- Title: Persistent-Transient Duality: A Multi-mechanism Approach for Modeling
Human-Object Interaction
- Title(参考訳): Persistent-Transient Duality:人間と物体の相互作用をモデル化するためのマルチメカリズムアプローチ
- Authors: Hung Tran, Vuong Le, Svetha Venkatesh, Truyen Tran
- Abstract要約: 人間は高度に適応可能で、異なるタスク、状況、状況を扱うために異なるモードを素早く切り替える。
人間と物体の相互作用(HOI)において、これらのモードは、(1)活動全体に対する大規模な一貫した計画、(2)タイムラインに沿って開始・終了する小規模の子どもの対話的行動の2つのメカニズムに起因していると考えられる。
本研究は、人間の動作を協調的に制御する2つの同時メカニズムをモデル化することを提案する。
- 参考スコア(独自算出の注目度): 58.67761673662716
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans are highly adaptable, swiftly switching between different modes to
progressively handle different tasks, situations and contexts. In Human-object
interaction (HOI) activities, these modes can be attributed to two mechanisms:
(1) the large-scale consistent plan for the whole activity and (2) the
small-scale children interactive actions that start and end along the timeline.
While neuroscience and cognitive science have confirmed this multi-mechanism
nature of human behavior, machine modeling approaches for human motion are
trailing behind. While attempted to use gradually morphing structures (e.g.,
graph attention networks) to model the dynamic HOI patterns, they miss the
expeditious and discrete mode-switching nature of the human motion. To bridge
that gap, this work proposes to model two concurrent mechanisms that jointly
control human motion: the Persistent process that runs continually on the
global scale, and the Transient sub-processes that operate intermittently on
the local context of the human while interacting with objects. These two
mechanisms form an interactive Persistent-Transient Duality that
synergistically governs the activity sequences. We model this conceptual
duality by a parent-child neural network of Persistent and Transient channels
with a dedicated neural module for dynamic mechanism switching. The framework
is trialed on HOI motion forecasting. On two rich datasets and a wide variety
of settings, the model consistently delivers superior performances, proving its
suitability for the challenge.
- Abstract(参考訳): 人間は高度に適応可能で、異なるモードを素早く切り替えて、異なるタスク、状況、状況を扱う。
人間と物体の相互作用(hoi)では、これらのモードは、(1)活動全体に対する大規模一貫した計画と(2)時間軸に沿って開始・終了する小規模の子供の対話行動の2つのメカニズムによって引き起こされる。
神経科学と認知科学は、人間の行動のマルチメカリズムの性質を証明しているが、人間の動きのマシンモデリングアプローチは後を追っている。
段階的なモーフィング構造(グラフアテンションネットワークなど)を使用して動的hoiパターンをモデル化しようとしたが、人間の動きの迅速かつ離散的なモード切替の性質を見逃していた。
このギャップを埋めるため,本研究は,人間の運動を協調的に制御する2つの並列機構をモデル化することを提案する。
これら2つのメカニズムは、活動シーケンスを相乗的に支配する対話的永続-過渡双対を形成する。
我々は,この概念的双対性を,動的機構スイッチングのための専用ニューラルモジュールを用いた持続的・過渡的チャネルの親子ニューラルネットワークによってモデル化する。
このフレームワークはHOIモーション予測で試行されている。
2つのリッチデータセットと多種多様な設定において、モデルは常に優れたパフォーマンスを提供し、挑戦に適合することを証明する。
関連論文リスト
- Causal Graph ODE: Continuous Treatment Effect Modeling in Multi-agent
Dynamical Systems [70.84976977950075]
実世界のマルチエージェントシステムは、しばしば動的で連続的であり、エージェントは時間とともにその軌道や相互作用を共進化させ、変化させる。
本稿では,グラフニューラルネットワーク(GNN)をODE関数として,エージェント間の連続的な相互作用をキャプチャする新しいモデルを提案する。
我々のモデルの主な革新は、治療の時間依存表現を学習し、ODE関数にそれらを組み込むことで、潜在的な結果の正確な予測を可能にすることである。
論文 参考訳(メタデータ) (2024-02-29T23:07:07Z) - ReMoS: Reactive 3D Motion Synthesis for Two-Person Interactions [71.74348331841057]
本稿では,反応運動合成のための拡散型確率モデルReMoSを紹介する。
本稿では,ペアダンス,忍術,キックボクシング,アクロバティックスなど,多岐にわたる難解な2人シナリオ下でのReMoSの性能を示す。
この結果はインタラクティブなアプリケーションでも利用でき、アニメーターに十分な量の制御を提供する。
論文 参考訳(メタデータ) (2023-11-28T18:59:52Z) - Stochastic Multi-Person 3D Motion Forecasting [21.915057426589744]
我々は、人間の動き予測に先立つ作業において、無視された現実世界の複雑さに対処する。
私たちのフレームワークは一般的なもので、異なる生成モデルでインスタンス化します。
このアプローチは多種多人数の予測を多種多様な精度で生成し,技術水準を著しく上回っている。
論文 参考訳(メタデータ) (2023-06-08T17:59:09Z) - InterGen: Diffusion-based Multi-human Motion Generation under Complex
Interactions [52.67456181120208]
動作拡散プロセスに人間と人間の相互作用を組み込んだ効果的な拡散ベースアプローチであるInterGenを提案する。
我々はまず、InterHumanという名前のマルチモーダルデータセットをコントリビュートする。これは、様々な2人インタラクションのための約107Mフレームで構成され、正確な骨格運動と23,337の自然言語記述を持つ。
本稿では,世界規模での2人のパフォーマーのグローバルな関係を明示的に定式化した対話拡散モデルにおける動作入力の表現を提案する。
論文 参考訳(メタデータ) (2023-04-12T08:12:29Z) - Task-Oriented Human-Object Interactions Generation with Implicit Neural
Representations [61.659439423703155]
TOHO: 命令型ニューラル表現を用いたタスク指向型ヒューマンオブジェクトインタラクション生成
本手法は時間座標のみでパラメータ化される連続運動を生成する。
この研究は、一般的なヒューマン・シーンの相互作用シミュレーションに向けて一歩前進する。
論文 参考訳(メタデータ) (2023-03-23T09:31:56Z) - SoMoFormer: Social-Aware Motion Transformer for Multi-Person Motion
Prediction [10.496276090281825]
本稿では,ソーシャル・アウェア・モーション・トランスフォーマー(SoMoFormer)を提案する。
SoMoFormerは、変位軌道空間のサブシーケンスから運動特徴を抽出し、各個人に対する局所的およびグローバルなポーズダイナミクスを学習する。
さらに,SoMoFormerに新たなソーシャル・アウェア・アテンション・アテンション・メカニズムを考案し,動的表現をさらに最適化し,相互依存を同時に捉える。
論文 参考訳(メタデータ) (2022-08-19T08:57:34Z) - Persistent-Transient Duality in Human Behavior Modeling [58.67761673662716]
本稿では,親子型マルチチャネルニューラルネットワークを用いて,人間の行動における永続的・過渡的双対性をモデル化する。
本モデルは,人間と物体の相互作用動作予測において優れた性能を示す。
論文 参考訳(メタデータ) (2022-04-21T04:29:57Z) - Leveraging Neural Network Gradients within Trajectory Optimization for
Proactive Human-Robot Interactions [32.57882479132015]
本稿では, トラジェクトリ最適化(TO)の解釈可能性と柔軟性を, 最先端の人間のトラジェクトリ予測モデルの予測能力と融合する枠組みを提案する。
我々は,最大10人の歩行者の群集を安全に効率的に移動させるロボットを必要とするマルチエージェントシナリオにおいて,我々のアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-12-02T08:43:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。