論文の概要: A Spatio-temporal Attention-based Model for Infant Movement Assessment from Videos

• arxiv url: http://arxiv.org/abs/2105.09783v1
• Date: Thu, 20 May 2021 14:31:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 13:43:36.434869
• Title: A Spatio-temporal Attention-based Model for Infant Movement Assessment from Videos
• Title（参考訳）: ビデオからの乳幼児運動評価のための時空間注意ベースモデル
• Authors: Binh Nguyen-Thai, Vuong Le, Catherine Morgan, Nadia Badawi, Truyen Tran, and Svetha Venkatesh
• Abstract要約: 本研究では,短いクリップから抽出した人間のポーズを用いた新たなフィジット動作評価法を開発した。 人間のポーズは関節と手足の運動プロファイルのみをキャプチャし、無関係な外観の人工物は含まない。 実験の結果,提案手法はROC-AUCスコア81.87%を達成し,既存の競合手法よりも高い性能を示し,高い解釈性を示した。
• 参考スコア（独自算出の注目度）: 44.71923220732036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The absence or abnormality of fidgety movements of joints or limbs is strongly indicative of cerebral palsy in infants. Developing computer-based methods for assessing infant movements in videos is pivotal for improved cerebral palsy screening. Most existing methods use appearance-based features and are thus sensitive to strong but irrelevant signals caused by background clutter or a moving camera. Moreover, these features are computed over the whole frame, thus they measure gross whole body movements rather than specific joint/limb motion. Addressing these challenges, we develop and validate a new method for fidgety movement assessment from consumer-grade videos using human poses extracted from short clips. Human poses capture only relevant motion profiles of joints and limbs and are thus free from irrelevant appearance artifacts. The dynamics and coordination between joints are modeled using spatio-temporal graph convolutional networks. Frames and body parts that contain discriminative information about fidgety movements are selected through a spatio-temporal attention mechanism. We validate the proposed model on the cerebral palsy screening task using a real-life consumer-grade video dataset collected at an Australian hospital through the Cerebral Palsy Alliance, Australia. Our experiments show that the proposed method achieves the ROC-AUC score of 81.87%, significantly outperforming existing competing methods with better interpretability.
• Abstract（参考訳）: 乳児の脳性麻痺は、関節や四肢の繊維運動の欠如や異常が強く示唆している。 ビデオ中の幼児の運動を評価するコンピュータベースの手法の開発は、脳性麻痺スクリーニングの改善に不可欠である。 既存の手法のほとんどは外観に基づく特徴を持ち、背景クラッタや移動カメラによって引き起こされる強いが無関係な信号に敏感である。 さらに、これらの特徴はフレーム全体にわたって計算され、特定の関節や肢の動きよりも全身の動きを計測する。 これらの課題に対処し,短いクリップから抽出した人間のポーズを用いて,消費者グレードビデオからフィジティ動作を評価する新しい手法を開発し,検証する。 人間のポーズは、関節と四肢の関連する動きプロファイルのみをキャプチャし、それゆえ無関係な外観アーティファクトから解放される。 関節間の動的および協調は時空間グラフ畳み込みネットワークを用いてモデル化される。 空間的注意機構を介して、フィジット運動に関する識別情報を含むフレーム及び体部を選択する。 本研究は,オーストラリアの脳性麻痺アライアンスを通じて,オーストラリアの病院で収集された実生活用コンシューマグレードビデオデータセットを用いて,脳性麻痺スクリーニングタスクにおける提案モデルを検証する。 実験の結果,提案手法はROC-AUCスコア81.87%を達成し,既存の競合手法よりも高い性能を示し,高い解釈性を示した。

関連論文リスト

• Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis [9.162792034193373]
  本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。 焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。 提案手法の重要な構成要素は、ビデオデータの空間的・時間的分析を改善するモデルである textbfVideoMAE の利用である。
  論文  参考訳（メタデータ） (2024-10-12T02:55:37Z)
• COIN: Control-Inpainting Diffusion Prior for Human and Camera Motion Estimation [98.05046790227561]
  COINは、人間の動きとカメラの動きを細粒度に制御できる、コントロール・インパインティング・モーション拡散である。 COINは、グローバルな人間の動き推定とカメラの動き推定という観点から、最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-08-29T10:36:29Z)
• SpaER: Learning Spatio-temporal Equivariant Representations for Fetal Brain Motion Tracking [6.417960463128722]
  SpaERは胎児運動追跡の先駆的手法である。 我々は,剛体運動列を効率的に学習する同変ニューラルネットワークを開発した。 シミュレーションおよび実動作を用いた実胎児エコープラナー画像を用いて本モデルの有効性を検証した。
  論文  参考訳（メタデータ） (2024-07-29T17:24:52Z)
• Dynamic Gaussian Splatting from Markerless Motion Capture can Reconstruct Infants Movements [2.44755919161855]
  本研究は,多様な臨床集団に適用可能な高度な運動分析ツールの道を開くものである。 マーカーレスモーションキャプチャーデータに対する動的ガウススプラッティングの適用について検討した。 以上の結果から,この手法が乳幼児の情景を表現し,乳幼児の動きを追跡できる可能性が示唆された。
  論文  参考訳（メタデータ） (2023-10-30T11:09:39Z)
• Intelligent Knee Sleeves: A Real-time Multimodal Dataset for 3D Lower Body Motion Estimation Using Smart Textile [2.2008680042670123]
  本稿では,人間のポーズ推定のために,Intelligent Knee Sleevesの新たなペアを用いてベンチマークを収集したマルチモーダルデータセットを提案する。 本システムは,Knee Sleevesの時系列データと,可視化されたモーションキャプチャーカメラシステムからの対応する地上真実ラベルからなる同期データセットを利用する。 我々はこれらを用いて、異なる活動を行う個人のウェアラブルデータのみに基づく3次元人体モデルを生成する。
  論文  参考訳（メタデータ） (2023-10-02T00:34:21Z)
• Vision-Based Activity Recognition in Children with Autism-Related Behaviors [15.915410623440874]
  臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。 データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。 時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
  論文  参考訳（メタデータ） (2022-08-08T15:12:27Z)
• Investigating Pose Representations and Motion Contexts Modeling for 3D Motion Prediction [63.62263239934777]
  歴史的ポーズシーケンスから人間の動きを予測することは、機械が人間と知的な相互作用を成功させるために不可欠である。 本研究では,様々なポーズ表現に関する詳細な研究を行い,その動作予測課題に対する効果に着目した。 AHMR(Attentive Hierarchical Motion Recurrent Network)と呼ばれる新しいRNNアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-12-30T10:45:22Z)
• Contact-Aware Retargeting of Skinned Motion [49.71236739408685]
  本稿では,自己接触を保存し,相互接続を防止する動作推定手法を提案する。 入力運動における自己接触と接地を同定し、出力骨格に適用するための動作を最適化する。 実験では,従来の手法を定量的に上回り,近年の成果よりも高い品質で再ターゲットされた動きを評価できるユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-09-15T17:05:02Z)
• Multi-level Motion Attention for Human Motion Prediction [132.29963836262394]
  本研究は, 関節, 身体部分, フルポーズレベルなど, 異なる種類の注意力の使用について検討した。 我々は,Human3.6M,AMASS,3DPWを用いて,周期的および非周期的両方の行動に対するアプローチの利点を検証した。
  論文  参考訳（メタデータ） (2021-06-17T08:08:11Z)
• A Novel Approach for Correcting Multiple Discrete Rigid In-Plane Motions Artefacts in MRI Scans [63.28835187934139]
  本稿では,2つの入力枝を持つディープニューラルネットワークを用いた動きアーチファクトの除去手法を提案する。 提案法は患者の多動運動によって生成された人工物に応用できる。
  論文  参考訳（メタデータ） (2020-06-24T15:25:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。