論文の概要: Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis

• arxiv url: http://arxiv.org/abs/2410.09339v1
• Date: Sat, 12 Oct 2024 02:55:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 15:03:37.997758
• Title: Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis
• Title（参考訳）: 自閉症における高度なジェスチャー認識:ビデオ分析のためのYOLOv7, Video Augmentation, VideoMAEの統合
• Authors: Amit Kumar Singh, Trapti Shrivastava, Vrijendra Singh,
• Abstract要約: 本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。 焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。 提案手法の重要な構成要素は、ビデオデータの空間的・時間的分析を改善するモデルである textbfVideoMAE の利用である。
• 参考スコア（独自算出の注目度）: 9.162792034193373
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning and advancements in contactless sensors have significantly enhanced our ability to understand complex human activities in healthcare settings. In particular, deep learning models utilizing computer vision have been developed to enable detailed analysis of human gesture recognition, especially repetitive gestures which are commonly observed behaviors in children with autism. This research work aims to identify repetitive behaviors indicative of autism by analyzing videos captured in natural settings as children engage in daily activities. The focus is on accurately categorizing real-time repetitive gestures such as spinning, head banging, and arm flapping. To this end, we utilize the publicly accessible Self-Stimulatory Behavior Dataset (SSBD) to classify these stereotypical movements. A key component of the proposed methodology is the use of \textbf{VideoMAE}, a model designed to improve both spatial and temporal analysis of video data through a masking and reconstruction mechanism. This model significantly outperformed traditional methods, achieving an accuracy of 97.7\%, a 14.7\% improvement over the previous state-of-the-art.
• Abstract（参考訳）: コンタクトレスセンサーの深層学習と進歩により、医療環境における複雑な人間の活動を理解する能力が大幅に向上した。 特に、コンピュータビジョンを利用したディープラーニングモデルは、人間のジェスチャー認識、特に自閉症児の行動によく見られる反復的なジェスチャーの詳細な分析を可能にするために開発された。 本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。 焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。 この目的のために,これらのステレオタイプの動きを分類するために,パブリックアクセス可能な自己刺激行動データセット(SSBD)を利用する。 提案手法の重要な構成要素は,マスキングと再構成機構を通じて映像データの空間的・時間的分析を改善するモデルである,‘textbf{VideoMAE} の利用である。 このモデルは従来の手法を大きく上回り、97.7\%の精度を達成し、以前の最先端よりも14.7\%改善した。

関連論文リスト

• Leveraging Pre-Trained Visual Models for AI-Generated Video Detection [54.88903878778194]
  ビデオ生成の分野はDeepFakesを超えて進歩し、ジェネリックコンテンツでAI生成ビデオを検出する方法が緊急に必要になった。 本稿では,事前学習した視覚モデルを用いて,実写映像と実写映像を区別する手法を提案する。 提案手法は, 平均90%以上で高い検出精度を達成し, その有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2025-07-17T15:36:39Z)
• Hybrid Vision Transformer-Mamba Framework for Autism Diagnosis via Eye-Tracking Analysis [2.481802259298367]
  本研究では,視覚変換器(ViT)とビジョン・マンバを組み合わせたハイブリッドなディープラーニングフレームワークを提案する。 このモデルは、注意に基づく融合を用いて視覚、音声、顔の手がかりを統合し、空間的、時間的両方のダイナミクスをキャプチャする。 Saliency4ASDデータセットでテストした結果、提案されたViT-Mambaモデルは既存の手法より優れており、精度0.96、スコア0.95F1、感度0.97、特異度0.94を達成している。
  論文  参考訳（メタデータ） (2025-06-07T18:27:24Z)
• Pursuing Temporal-Consistent Video Virtual Try-On via Dynamic Pose Interaction [142.66410908560582]
  Video Virtual try-onは、被験者に特定の衣服を装着したビデオフィギュアをシームレスに着ることを目的としている。 ビデオ仮想試行のための動的ポーズ相互作用を探索するために拡散モデルを活用するために,動的ポーズ相互作用拡散モデル(DPIDM)を提案する。 DPIDMは、時間的整合性を高めるために、連続フレーム間の時間的規則化された注意損失に乗じる。
  論文  参考訳（メタデータ） (2025-05-22T17:52:34Z)
• A Novel Dataset for Video-Based Neurodivergent Classification Leveraging Extra-Stimulatory Behavior [15.88235629194724]
  本稿では,ビデオフレームの畳み込みとアテンションマップの特徴データを含むビデオASDデータセットを提案する。 以上の結果から,本モデルは子どもの運動における重要な違いを効果的に一般化し,理解していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-09-06T20:11:02Z)
• Ensemble Modeling of Multiple Physical Indicators to Dynamically Phenotype Autism Spectrum Disorder [3.6630139570443996]
  自閉症スペクトラム障害(ASD)に関連する表現型マーカーを検出するためのコンピュータビジョンモデルをトレーニングするためのデータセットを提供する。 視線,頭位,顔のランドマークを入力として,LSTMを用いた個別モデルを訓練し,テストAUCは86%,67%,78%であった。
  論文  参考訳（メタデータ） (2024-08-23T17:55:58Z)
• Video-Based Autism Detection with Deep Learning [0.0]
  感覚刺激に反応する子供の映像クリップを解析する深層学習モデルを開発した。 以上の結果から,本モデルは子どもの運動における重要な違いを効果的に一般化し,理解していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-26T17:45:00Z)
• Introducing SSBD+ Dataset with a Convolutional Pipeline for detecting Self-Stimulatory Behaviours in Children using raw videos [1.1874952582465603]
  著者らは,自閉症スペクトラム障害(ASD)の診断に役立つ,ある種の自己刺激行動を検出するための,パイプライン型ディープラーニングアーキテクチャを提案する。 リアルタイムおよびハンズフリーの自動診断を目的としたパイプラインモデルにより,全体の81%の精度が達成された。
  論文  参考訳（メタデータ） (2023-11-25T16:57:24Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Language-Assisted Deep Learning for Autistic Behaviors Recognition [13.200025637384897]
  本稿では,視覚に基づく問題行動認識システムにおいて,従来の手法よりも高い精度で性能を向上できることを示す。 問題行動の種類毎に「自由利用」言語記述を取り入れた2分岐マルチモーダルディープラーニングフレームワークを提案する。 実験結果から,言語指導を付加することで,自閉症の行動認識タスクに明らかなパフォーマンス向上がもたらされることが示された。
  論文  参考訳（メタデータ） (2022-11-17T02:58:55Z)
• Differentiable Frequency-based Disentanglement for Aerial Video Action Recognition [56.91538445510214]
  ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。 我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。 我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2022-09-15T22:16:52Z)
• Vision-Based Activity Recognition in Children with Autism-Related Behaviors [15.915410623440874]
  臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。 データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。 時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
  論文  参考訳（メタデータ） (2022-08-08T15:12:27Z)
• Context-Aware Sequence Alignment using 4D Skeletal Augmentation [67.05537307224525]
  コンピュータビジョン、ロボティクス、混合現実の多くの応用において、ビデオにおける人間の行動の微粒化の時間的アライメントが重要である。 本稿では,アクションのシーケンスを整列するコンテキスト認識型自己教師型学習アーキテクチャを提案する。 特に、CASAは、人間の行動の空間的・時間的文脈を組み込むために、自己注意と相互注意のメカニズムを採用している。
  論文  参考訳（メタデータ） (2022-04-26T10:59:29Z)
• Neurosymbolic hybrid approach to driver collision warning [64.02492460600905]
  自律運転システムには2つの主要なアルゴリズムアプローチがある。 ディープラーニングだけでは、多くの分野で最先端の結果が得られています。 しかし、ディープラーニングモデルが機能しない場合、デバッグが非常に難しい場合もあります。
  論文  参考訳（メタデータ） (2022-03-28T20:29:50Z)
• SOUL: An Energy-Efficient Unsupervised Online Learning Seizure Detection Classifier [68.8204255655161]
  神経活動を記録して発作を検出するインプラントデバイスは、発作を抑えるために警告を発したり神経刺激を誘発したりするために採用されている。 移植可能な発作検出システムでは、低出力で最先端のオンライン学習アルゴリズムを使用して、神経信号のドリフトに動的に適応することができる。 SOULはTSMCの28nmプロセスで0.1mm2を占め、1.5nJ/分級エネルギー効率を実現した。
  論文  参考訳（メタデータ） (2021-10-01T23:01:20Z)
• A Spatio-temporal Attention-based Model for Infant Movement Assessment from Videos [44.71923220732036]
  本研究では,短いクリップから抽出した人間のポーズを用いた新たなフィジット動作評価法を開発した。 人間のポーズは関節と手足の運動プロファイルのみをキャプチャし、無関係な外観の人工物は含まない。 実験の結果,提案手法はROC-AUCスコア81.87%を達成し,既存の競合手法よりも高い性能を示し,高い解釈性を示した。
  論文  参考訳（メタデータ） (2021-05-20T14:31:54Z)
• Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks [82.54695985117783]
  In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。 我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
  論文  参考訳（メタデータ） (2020-11-18T13:42:05Z)
• Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
  マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。 マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。 本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
  論文  参考訳（メタデータ） (2020-11-04T18:09:58Z)
• Relational Graph Learning on Visual and Kinematics Embeddings for Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
  本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。 本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
  論文  参考訳（メタデータ） (2020-11-03T11:00:10Z)
• Detecting Parkinsonian Tremor from IMU Data Collected In-The-Wild using Deep Multiple-Instance Learning [59.74684475991192]
  パーキンソン病(英: Parkinson's Disease、PD)は、60歳以上の人口の約1%に影響を与える徐々に進化する神経学的疾患である。 PD症状には、震動、剛性、ブレイキネジアがある。 本稿では,スマートフォン端末から受信したIMU信号に基づいて,PDに関連するトレモラスなエピソードを自動的に識別する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-06T09:02:30Z)
• 4D Spatio-Temporal Deep Learning with 4D fMRI Data for Autism Spectrum Disorder Classification [69.62333053044712]
  ASD分類のための4次元畳み込み深層学習手法を提案する。 F1スコアは0.71、F1スコアは0.65であるのに対し、我々は4Dニューラルネットワークと畳み込みリカレントモデルを採用する。
  論文  参考訳（メタデータ） (2020-04-21T17:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。