論文の概要: Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis
- arxiv url: http://arxiv.org/abs/2410.09339v1
- Date: Sat, 12 Oct 2024 02:55:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 15:03:37.997758
- Title: Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis
- Title（参考訳）: 自閉症における高度なジェスチャー認識:ビデオ分析のためのYOLOv7, Video Augmentation, VideoMAEの統合
- Authors: Amit Kumar Singh, Trapti Shrivastava, Vrijendra Singh,
- Abstract要約: 本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。
焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。
提案手法の重要な構成要素は、ビデオデータの空間的・時間的分析を改善するモデルである textbfVideoMAE の利用である。
- 参考スコア（独自算出の注目度）: 9.162792034193373
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep learning and advancements in contactless sensors have significantly enhanced our ability to understand complex human activities in healthcare settings. In particular, deep learning models utilizing computer vision have been developed to enable detailed analysis of human gesture recognition, especially repetitive gestures which are commonly observed behaviors in children with autism. This research work aims to identify repetitive behaviors indicative of autism by analyzing videos captured in natural settings as children engage in daily activities. The focus is on accurately categorizing real-time repetitive gestures such as spinning, head banging, and arm flapping. To this end, we utilize the publicly accessible Self-Stimulatory Behavior Dataset (SSBD) to classify these stereotypical movements. A key component of the proposed methodology is the use of \textbf{VideoMAE}, a model designed to improve both spatial and temporal analysis of video data through a masking and reconstruction mechanism. This model significantly outperformed traditional methods, achieving an accuracy of 97.7\%, a 14.7\% improvement over the previous state-of-the-art.
- Abstract（参考訳）: コンタクトレスセンサーの深層学習と進歩により、医療環境における複雑な人間の活動を理解する能力が大幅に向上した。
特に、コンピュータビジョンを利用したディープラーニングモデルは、人間のジェスチャー認識、特に自閉症児の行動によく見られる反復的なジェスチャーの詳細な分析を可能にするために開発された。
本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。
焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。
この目的のために,これらのステレオタイプの動きを分類するために,パブリックアクセス可能な自己刺激行動データセット(SSBD)を利用する。
提案手法の重要な構成要素は,マスキングと再構成機構を通じて映像データの空間的・時間的分析を改善するモデルである,‘textbf{VideoMAE} の利用である。
このモデルは従来の手法を大きく上回り、97.7\%の精度を達成し、以前の最先端よりも14.7\%改善した。
関連論文リスト
- Ensemble Modeling of Multiple Physical Indicators to Dynamically Phenotype Autism Spectrum Disorder [3.6630139570443996]
自閉症スペクトラム障害(ASD)に関連する表現型マーカーを検出するためのコンピュータビジョンモデルをトレーニングするためのデータセットを提供する。
視線,頭位,顔のランドマークを入力として,LSTMを用いた個別モデルを訓練し,テストAUCは86%,67%,78%であった。
論文 参考訳（メタデータ） (2024-08-23T17:55:58Z) - Video-Based Autism Detection with Deep Learning [0.0]
感覚刺激に反応する子供の映像クリップを解析する深層学習モデルを開発した。
以上の結果から,本モデルは子どもの運動における重要な違いを効果的に一般化し,理解していることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-26T17:45:00Z) - Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。
我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
論文 参考訳（メタデータ） (2023-03-17T12:55:22Z) - Language-Assisted Deep Learning for Autistic Behaviors Recognition [13.200025637384897]
本稿では,視覚に基づく問題行動認識システムにおいて,従来の手法よりも高い精度で性能を向上できることを示す。
問題行動の種類毎に「自由利用」言語記述を取り入れた2分岐マルチモーダルディープラーニングフレームワークを提案する。
実験結果から,言語指導を付加することで,自閉症の行動認識タスクに明らかなパフォーマンス向上がもたらされることが示された。
論文 参考訳（メタデータ） (2022-11-17T02:58:55Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T22:16:52Z) - Vision-Based Activity Recognition in Children with Autism-Related
Behaviors [15.915410623440874]
臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。
データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。
時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
論文 参考訳（メタデータ） (2022-08-08T15:12:27Z) - Context-Aware Sequence Alignment using 4D Skeletal Augmentation [67.05537307224525]
コンピュータビジョン、ロボティクス、混合現実の多くの応用において、ビデオにおける人間の行動の微粒化の時間的アライメントが重要である。
本稿では,アクションのシーケンスを整列するコンテキスト認識型自己教師型学習アーキテクチャを提案する。
特に、CASAは、人間の行動の空間的・時間的文脈を組み込むために、自己注意と相互注意のメカニズムを採用している。
論文 参考訳（メタデータ） (2022-04-26T10:59:29Z) - A Spatio-temporal Attention-based Model for Infant Movement Assessment
from Videos [44.71923220732036]
本研究では,短いクリップから抽出した人間のポーズを用いた新たなフィジット動作評価法を開発した。
人間のポーズは関節と手足の運動プロファイルのみをキャプチャし、無関係な外観の人工物は含まない。
実験の結果,提案手法はROC-AUCスコア81.87%を達成し,既存の競合手法よりも高い性能を示し,高い解釈性を示した。
論文 参考訳（メタデータ） (2021-05-20T14:31:54Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳（メタデータ） (2020-11-18T13:42:05Z) - Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。
マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。
本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
論文 参考訳（メタデータ） (2020-11-04T18:09:58Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。