論文の概要: Remembering What Is Important: A Factorised Multi-Head Retrieval and
Auxiliary Memory Stabilisation Scheme for Human Motion Prediction
- arxiv url: http://arxiv.org/abs/2305.11394v1
- Date: Fri, 19 May 2023 02:44:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:32:36.101761
- Title: Remembering What Is Important: A Factorised Multi-Head Retrieval and
Auxiliary Memory Stabilisation Scheme for Human Motion Prediction
- Title（参考訳）: 重要なこと:人間の動作予測のための因子的マルチヘッド検索と補助記憶安定化スキーム
- Authors: Tharindu Fernando and Harshala Gammulle and Sridha Sridharan and Simon
Denman and Clinton Fookes
- Abstract要約: 本稿では、歴史的知識のモデリングを改善するために、革新的な補助メモリ駆動のディープニューラルネットワークフレームワークを提案する。
我々は、観察されたポーズシーケンスから、主観的、タスク固有、その他の補助情報を切り離し、これらの分解された特徴を利用してメモリを問い合わせる。
2つの新たな損失関数を導入し、メモリ内容の安定性を確保しつつ補助記憶内の多様性を促進する。
- 参考スコア（独自算出の注目度）: 41.34294145237618
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans exhibit complex motions that vary depending on the task that they are
performing, the interactions they engage in, as well as subject-specific
preferences. Therefore, forecasting future poses based on the history of the
previous motions is a challenging task. This paper presents an innovative
auxiliary-memory-powered deep neural network framework for the improved
modelling of historical knowledge. Specifically, we disentangle
subject-specific, task-specific, and other auxiliary information from the
observed pose sequences and utilise these factorised features to query the
memory. A novel Multi-Head knowledge retrieval scheme leverages these
factorised feature embeddings to perform multiple querying operations over the
historical observations captured within the auxiliary memory. Moreover, our
proposed dynamic masking strategy makes this feature disentanglement process
dynamic. Two novel loss functions are introduced to encourage diversity within
the auxiliary memory while ensuring the stability of the memory contents, such
that it can locate and store salient information that can aid the long-term
prediction of future motion, irrespective of data imbalances or the diversity
of the input data distribution. With extensive experiments conducted on two
public benchmarks, Human3.6M and CMU-Mocap, we demonstrate that these design
choices collectively allow the proposed approach to outperform the current
state-of-the-art methods by significant margins: $>$ 17\% on the Human3.6M
dataset and $>$ 9\% on the CMU-Mocap dataset.
- Abstract（参考訳）: 人間は、実行しているタスク、従事する相互作用、および主題固有の嗜好によって異なる複雑な動きを示す。
したがって、過去の動きの履歴に基づく将来の動きを予測することは難しい課題である。
本稿では、歴史的知識のモデリングを改善するために、革新的な補助記憶を用いたディープニューラルネットワークフレームワークを提案する。
具体的には、観察したポーズシーケンスから主題別、タスク別、およびその他の補助情報を抽出し、これらの因子化された特徴を利用して記憶を照会する。
新たなマルチヘッド知識検索手法では,これらの特徴埋め込みを利用して,補助メモリ内でキャプチャされた履歴観測に対して複数のクエリ処理を行う。
さらに,提案する動的マスキング戦略により,この特徴の絡み合いが動的になる。
データの不均衡や入力データ分布の多様性によらず、将来の動作の長期予測を支援するために、サレント情報を探索し記憶することができるようにし、補助メモリ内の多様性を促進するために2つの新しい損失関数を導入する。
Human3.6M と CMU-Mocap の2つの公開ベンチマークで実施された広範な実験により、これらの設計選択によって、提案されたアプローチが現在の最先端の手法よりも大きなマージンで優れていることが実証された。
関連論文リスト
- Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。
FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。
言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
論文 参考訳（メタデータ） (2024-10-03T04:32:21Z) - Unsupervised Representation Learning of Complex Time Series for Maneuverability State Identification in Smart Mobility [0.0]
スマートモビリティでは、操縦パターンのような行動の時間的ダイナミクスを提供する上で、MSSは重要な役割を果たす。
本研究では,センサを用いた車両から収集したMSSデータのモデル化に関わる課題に対処することを目的とする。
我々の目標は、スマートモビリティにおける操作状態の特定における2つの異なる教師なし表現学習手法の有効性を検討することである。
論文 参考訳（メタデータ） (2024-08-26T15:16:18Z) - DUEL: Duplicate Elimination on Active Memory for Self-Supervised
Class-Imbalanced Learning [19.717868805172323]
新たなフレームワークであるDuplicate Elimination(DUEL)の自己教師付き事前学習におけるアクティブなデータフィルタリングプロセスを提案する。
このフレームワークは、人間のワーキングメモリにインスパイアされたアクティブメモリを統合し、メモリ内のデータの多様性を測定する特異性情報を導入する。
最も重複したデータを新しいサンプルに置き換えるDUELポリシは、メモリ内の特異性情報を強化し、クラス不均衡を軽減することを目的としている。
論文 参考訳（メタデータ） (2024-02-14T06:09:36Z) - Dynamic Spatio-Temporal Summarization using Information Based Fusion [3.038642416291856]
本稿では,重要な時間経過における情報的特徴を識別し,少ない情報的特徴を融合する動的時間的データ要約手法を提案する。
既存の手法とは異なり,本手法は生と要約の両方のタイムステップを保持し,時間とともに情報の変化を包括的に把握する。
我々は,粒子ベースのフローシミュレーション,セキュリティと監視の応用,免疫システム内の生体細胞間相互作用など,多様なデータセットにまたがる手法の汎用性を実証した。
論文 参考訳（メタデータ） (2023-10-02T20:21:43Z) - Estimating Conditional Mutual Information for Dynamic Feature Selection [14.706269510726356]
動的な特徴選択は、機能獲得コストを削減し、モデルの予測に透明性を提供する、有望なパラダイムである。
ここでは、情報理論の観点から、応答変数との相互情報に基づいて特徴を優先順位付けする。
提案手法は, 様々なデータセットにわたる最近の手法に対して一貫した利得を提供する。
論文 参考訳（メタデータ） (2023-06-05T23:03:03Z) - Motion-Scenario Decoupling for Rat-Aware Video Position Prediction:
Strategy and Benchmark [49.58762201363483]
本研究では,個人や環境の影響要因を考慮し,生物ロボットの動き予測データセットであるRatPoseを紹介する。
本稿では,シナリオ指向とモーション指向を効果的に分離するDual-stream Motion-Scenario Decouplingフレームワークを提案する。
難易度が異なるタスクに対して,提案したtextitDMSD フレームワークの大幅な性能向上を示す。
論文 参考訳（メタデータ） (2023-05-17T14:14:31Z) - VFDS: Variational Foresight Dynamic Selection in Bayesian Neural
Networks for Efficient Human Activity Recognition [81.29900407096977]
変動予測動的選択(VFDS)は、観測する次の機能サブセットを選択するポリシーを学ぶ。
本稿では,その実践においてパフォーマンスコストのトレードオフが重要となるヒューマンアクティビティ認識(HAR)タスクに,VFDSを適用した。
論文 参考訳（メタデータ） (2022-03-31T22:52:43Z) - Self-Attention Neural Bag-of-Features [103.70855797025689]
我々は最近導入された2D-Attentionの上に構築し、注意学習方法論を再構築する。
本稿では,関連情報を強調した2次元目視マスクを学習する機能・時間的アテンション機構を提案する。
論文 参考訳（メタデータ） (2022-01-26T17:54:14Z) - SyMetric: Measuring the Quality of Learnt Hamiltonian Dynamics Inferred
from Vision [73.26414295633846]
最近提案されたモデルのクラスは、高次元観測から潜在力学を学習しようと試みている。
既存の手法は画像再構成の品質に依存しており、学習した潜在力学の質を常に反映しているわけではない。
我々は、基礎となるハミルトン力学が忠実に捕獲されたかどうかのバイナリ指標を含む、一連の新しい尺度を開発する。
論文 参考訳（メタデータ） (2021-11-10T23:26:58Z) - Temporal Memory Relation Network for Workflow Recognition from Surgical
Video [53.20825496640025]
本研究では, 長期および多スケールの時間パターンを関連づける, エンドツーエンドの時間メモリ関係ネットワーク (TMNet) を提案する。
我々はこのアプローチを2つのベンチマーク手術ビデオデータセットで広範囲に検証した。
論文 参考訳（メタデータ） (2021-03-30T13:20:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。