論文の概要: Tapestry of Time and Actions: Modeling Human Activity Sequences using Temporal Point Process Flows

• arxiv url: http://arxiv.org/abs/2307.10305v1
• Date: Thu, 13 Jul 2023 19:17:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-23 11:08:04.255816
• Title: Tapestry of Time and Actions: Modeling Human Activity Sequences using Temporal Point Process Flows
• Title（参考訳）: 時間と行動のタペストリー:時間的ポイントプロセスフローを用いた人間の活動系列のモデル化
• Authors: Vinayak Gupta and Srikanta Bedathur
• Abstract要約: 本稿では,アクティビティシーケンス中のアクションの連続的な分布をモデル化するフレームワークであるProActiveを提案する。 ProActiveは次のアクション予測、シーケンスゴール予測、エンドツーエンドシーケンス生成という3つの高影響問題に対処する。
• 参考スコア（独自算出の注目度）: 9.571588145356277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human beings always engage in a vast range of activities and tasks that demonstrate their ability to adapt to different scenarios. Any human activity can be represented as a temporal sequence of actions performed to achieve a certain goal. Unlike the time series datasets extracted from electronics or machines, these action sequences are highly disparate in their nature -- the time to finish a sequence of actions can vary between different persons. Therefore, understanding the dynamics of these sequences is essential for many downstream tasks such as activity length prediction, goal prediction, next action recommendation, etc. Existing neural network-based approaches that learn a continuous-time activity sequence (or CTAS) are limited to the presence of only visual data or are designed specifically for a particular task, i.e., limited to next action or goal prediction. In this paper, we present ProActive, a neural marked temporal point process (MTPP) framework for modeling the continuous-time distribution of actions in an activity sequence while simultaneously addressing three high-impact problems -- next action prediction, sequence-goal prediction, and end-to-end sequence generation. Specifically, we utilize a self-attention module with temporal normalizing flows to model the influence and the inter-arrival times between actions in a sequence. In addition, we propose a novel addition over the ProActive model that can handle variations in the order of actions, i.e., different methods of achieving a given goal. We demonstrate that this variant can learn the order in which the person or actor prefers to do their actions. Extensive experiments on sequences derived from three activity recognition datasets show the significant accuracy boost of ProActive over the state-of-the-art in terms of action and goal prediction, and the first-ever application of end-to-end action sequence generation.
• Abstract（参考訳）: 人間は常に、さまざまなシナリオに適応する能力を示す、幅広い活動やタスクに従事します。 人間の活動は、ある目標を達成するために行われた行動の時間的シーケンスとして表すことができる。 電子機器や機械から抽出された時系列データセットとは異なり、これらのアクションシーケンスはその性質において非常に異なる。 したがって、これらのシーケンスのダイナミクスを理解することは、アクティビティ長予測、目標予測、次のアクション推奨など、多くの下流タスクにとって不可欠である。 連続時間活動シーケンス(CTAS)を学習する既存のニューラルネットワークベースのアプローチは、視覚データのみの存在に制限されるか、特定のタスク、すなわち次のアクションやゴール予測に制限されるように設計されている。 本稿では、次のアクション予測、シーケンスゴール予測、エンドツーエンドのシーケンス生成という3つの高インパクト問題に同時に対処しながら、アクティビティシーケンス内のアクションの連続的な時間分布をモデル化する、ニューラルネットワークマーク時間点プロセス(MTPP)フレームワークであるProActiveを提案する。 具体的には、時間的正規化フローを持つ自己注意モジュールを用いて、シーケンス内のアクション間の影響と時間間隔をモデル化する。 さらに,アクションの順序の変動,すなわち,与えられた目標を達成するための異なる手法を処理可能な,ProActiveモデルに対する新たな追加を提案する。 我々は、この変種が、その人物や俳優が自分の行動をすることを好む順序を学習できることを実証する。 3つのアクティビティ認識データセットから得られたシーケンスに関する広範囲な実験は、アクションとゴール予測の観点からの最先端技術に対するProActiveの大幅な精度向上と、エンドツーエンドのアクションシーケンス生成の最初の応用を示している。

関連論文リスト

• Meta-Learning for Neural Network-based Temporal Point Processes [36.31950058651308]
  ポイントプロセスは、人間の活動に関連する事象を予測するために広く使われている。 最近の高性能ポイントプロセスモデルでは、長期間にわたって収集された十分な数のイベントを入力する必要がある。 短周期の事象の周期性を考慮した予測のためのメタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-01-29T02:42:22Z)
• Activity Grammars for Temporal Action Segmentation [71.03141719666972]
  時間的アクションセグメンテーションは、トリミングされていないアクティビティビデオを一連のアクションセグメンテーションに変換することを目的としている。 本稿では,時間的行動セグメンテーションのための神経予測を導くための効果的な活動文法を提案する。 実験の結果,提案手法は時間的動作のセグメンテーションを性能と解釈性の両方の観点から著しく改善することが示された。
  論文  参考訳（メタデータ） (2023-12-07T12:45:33Z)
• TEACH: Temporal Action Composition for 3D Humans [50.97135662063117]
  自然言語の一連の記述を前提として,テキストに意味的に対応する3次元の人間の動作を生成する。 特に、我々のゴールは一連のアクションの合成を可能にすることであり、これは時間的アクション合成と呼ばれる。
  論文  参考訳（メタデータ） (2022-09-09T00:33:40Z)
• ProActive: Self-Attentive Temporal Point Process Flows for Activity Sequences [9.571588145356277]
  ProActiveは、アクティビティシーケンス内のアクションの連続的な時間分布をモデル化するためのフレームワークである。 次のアクション予測、シーケンスゴール予測、エンドツーエンドシーケンス生成に対処する。
  論文  参考訳（メタデータ） (2022-06-10T16:30:55Z)
• Weakly-supervised Action Transition Learning for Stochastic Human Motion Prediction [81.94175022575966]
  動作駆動型人間の動作予測の課題について紹介する。 一連の動作ラベルと短い動作履歴から、複数の可算な将来の動作を予測することを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T08:38:07Z)
• Sequence-to-Sequence Modeling for Action Identification at High Temporal Resolution [9.902223920743872]
  高時間分解能でラベル付けされた微妙な短時間動作を含む新しい行動認識ベンチマークを導入する。 セグメント化に基づく現在の最先端モデルでは,これらのデータに適用した場合,ノイズの予測が可能であることを示す。 本稿では,音声認識技術に触発された高精度な行動識別手法を提案する。
  論文  参考訳（メタデータ） (2021-11-03T21:06:36Z)
• ASFormer: Transformer for Action Segmentation [9.509416095106493]
  本稿では,アクションセグメンテーションタスクのための効率的なトランスフォーマーベースモデルASFormerを提案する。 信頼された範囲内で仮説空間を制約し、アクションセグメンテーションタスクが小さなトレーニングセットで適切なターゲット関数を学習するのに有益である。 我々は、長い入力シーケンスを効率的に処理する事前定義された階層表現パターンを適用した。
  論文  参考訳（メタデータ） (2021-10-16T13:07:20Z)
• Learning to Abstract and Predict Human Actions [60.85905430007731]
  ビデオにおける人間の活動の階層構造をモデル化し,行動予測におけるそのような構造の効果を実証する。 イベントの部分的階層を観察し、その構造を複数の抽象化レベルで将来の予測にロールアウトすることで、人間の活動の構造を学習できる階層型ニューラルネットワークであるHierarchical-Refresher-Anticipatorを提案する。
  論文  参考訳（メタデータ） (2020-08-20T23:57:58Z)
• History Repeats Itself: Human Motion Prediction via Motion Attention [81.94175022575966]
  注意に基づくフィードフォワードネットワークを導入し、人間の動きが自分自身を繰り返す傾向にあるという観察を明示的に活用する。 特に,現在動きのコンテキストと過去の動きのサブシーケンスの類似性を捉えるために,動きの注意を抽出することを提案する。 我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を実証した。
  論文  参考訳（メタデータ） (2020-07-23T02:12:27Z)
• MS-TCN++: Multi-Stage Temporal Convolutional Network for Action Segmentation [87.16030562892537]
  本稿では,時間的行動分割タスクのための多段階アーキテクチャを提案する。 第1段階は、次の段階によって洗練される初期予測を生成する。 我々のモデルは3つのデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-06-16T14:50:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。