論文の概要: Vision-Based Activity Recognition in Children with Autism-Related
Behaviors
- arxiv url: http://arxiv.org/abs/2208.04206v1
- Date: Mon, 8 Aug 2022 15:12:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-09 12:46:15.751193
- Title: Vision-Based Activity Recognition in Children with Autism-Related
Behaviors
- Title（参考訳）: 自閉症児の視覚に基づく行動認識
- Authors: Pengbo Wei, David Ahmedt-Aristizabal, Harshala Gammulle, Simon Denman,
Mohammad Ali Armin
- Abstract要約: 臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。
データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。
時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
- 参考スコア（独自算出の注目度）: 15.915410623440874
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Advances in machine learning and contactless sensors have enabled the
understanding complex human behaviors in a healthcare setting. In particular,
several deep learning systems have been introduced to enable comprehensive
analysis of neuro-developmental conditions such as Autism Spectrum Disorder
(ASD). This condition affects children from their early developmental stages
onwards, and diagnosis relies entirely on observing the child's behavior and
detecting behavioral cues. However, the diagnosis process is time-consuming as
it requires long-term behavior observation, and the scarce availability of
specialists. We demonstrate the effect of a region-based computer vision system
to help clinicians and parents analyze a child's behavior. For this purpose, we
adopt and enhance a dataset for analyzing autism-related actions using videos
of children captured in uncontrolled environments (e.g. videos collected with
consumer-grade cameras, in varied environments). The data is pre-processed by
detecting the target child in the video to reduce the impact of background
noise. Motivated by the effectiveness of temporal convolutional models, we
propose both light-weight and conventional models capable of extracting action
features from video frames and classifying autism-related behaviors by
analyzing the relationships between frames in a video. Through extensive
evaluations on the feature extraction and learning strategies, we demonstrate
that the best performance is achieved with an Inflated 3D Convnet and
Multi-Stage Temporal Convolutional Networks, achieving a 0.83 Weighted F1-score
for classification of the three autism-related actions, outperforming existing
methods. We also propose a light-weight solution by employing the ESNet
backbone within the same system, achieving competitive results of 0.71 Weighted
F1-score, and enabling potential deployment on embedded systems.
- Abstract（参考訳）: 機械学習とコンタクトレスセンサーの進歩により、医療環境で複雑な人間の行動を理解できるようになった。
特に、自閉症スペクトラム障害(asd)などの神経発達状態の包括的解析を可能にするために、いくつかのディープラーニングシステムが導入されている。
この状態は発達初期の子どもに影響を与え、診断は子供の行動を観察し行動の手がかりを検出することに依存する。
しかし、長期的な行動観察が必要であり、専門家は少ないため、診断プロセスは時間がかかります。
臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。
この目的のために,非制御環境(例えば,消費者グレードカメラで収集されたビデオなど)で撮影された子どものビデオを用いて,自閉症に関連する行動を分析するためのデータセットを採用・拡張する。
データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。
時間的畳み込みモデルの有効性から,映像フレームから行動特徴を抽出できる軽量モデルと従来モデルの両方を提案し,映像フレーム間の関係を解析して自閉症関連行動の分類を行う。
特徴抽出と学習戦略の広範囲な評価を通じて,3dコンブネットと多段時相畳み込みネットワークを用いて最良性能を達成し,3つの自閉症関連行動の分類に 0.83 重み付き f1-score を達成し,既存の手法を上回った。
また,ESNetのバックボーンを同一システム内で使用し,0.71重み付きF1スコアの競合結果を実現し,組込みシステムへの潜在的展開を可能にする軽量なソリューションを提案する。
関連論文リスト
- Advanced Gesture Recognition in Autism: Integrating YOLOv7, Video Augmentation and VideoMAE for Video Analysis [9.162792034193373]
本研究は, 子どもが日常活動を行う際に, 自然環境下で撮影した映像を分析し, 自閉症を示唆する反復行動を特定することを目的とする。
焦点は、回転、ヘッドバンピング、腕の羽ばたきといったリアルタイムの反復的なジェスチャーを正確に分類することである。
提案手法の重要な構成要素は、ビデオデータの空間的・時間的分析を改善するモデルである textbfVideoMAE の利用である。
論文 参考訳（メタデータ） (2024-10-12T02:55:37Z) - Towards Child-Inclusive Clinical Video Understanding for Autism Spectrum Disorder [27.788204861041553]
本研究では,3つのモダリティ(音声,ビデオ,テキスト)にまたがる基礎モデルを用いて,子どものインタラクション・セッションの分析を行う。
本研究は,行動認識と異常行動検出という,情報粒度の異なる2つのタスクにおいて,その性能を評価する。
論文 参考訳（メタデータ） (2024-09-20T16:06:46Z) - Enhancing Autism Spectrum Disorder Early Detection with the Parent-Child Dyads Block-Play Protocol and an Attention-enhanced GCN-xLSTM Hybrid Deep Learning Framework [6.785167067600156]
本研究は,ASDと発達幼児を区別する行動パターンを識別するための,親子ダイズブロックプレイ(PCB)プロトコルを提案する。
40人のASDと89人のTD幼児が親とのブロックプレイに従事している。
このデータセットは、参加者の規模と個々のセッションの長さの両方に関する以前の取り組みを上回る。
論文 参考訳（メタデータ） (2024-08-29T21:53:01Z) - Hear Me, See Me, Understand Me: Audio-Visual Autism Behavior Recognition [47.550391816383794]
本稿では,音声・視覚自閉症の行動認識の新たな課題について紹介する。
社会的行動認識は、AIによる自閉症スクリーニング研究において、これまで省略されてきた重要な側面である。
データセット、コード、事前トレーニングされたモデルをリリースします。
論文 参考訳（メタデータ） (2024-03-22T22:52:35Z) - Video-Based Autism Detection with Deep Learning [0.0]
感覚刺激に反応する子供の映像クリップを解析する深層学習モデルを開発した。
以上の結果から,本モデルは子どもの運動における重要な違いを効果的に一般化し,理解していることが明らかとなった。
論文 参考訳（メタデータ） (2024-02-26T17:45:00Z) - Exploiting the Brain's Network Structure for Automatic Identification of
ADHD Subjects [70.37277191524755]
我々は脳を機能的ネットワークとしてモデル化できることを示し,ADHD被験者と制御対象とではネットワークの特定の特性が異なることを示した。
776名の被験者で分類器を訓練し,ADHD-200チャレンジのために神経局が提供する171名の被験者を対象に試験を行った。
論文 参考訳（メタデータ） (2023-06-15T16:22:57Z) - NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical
Development Patterns of Preterm Infants [73.85768093666582]
我々はNeuroExplainerと呼ばれる説明可能な幾何学的深層ネットワークを提案する。
NeuroExplainerは、早産に伴う幼児の皮質発達パターンの解明に使用される。
論文 参考訳（メタデータ） (2023-01-01T12:48:12Z) - Language-Assisted Deep Learning for Autistic Behaviors Recognition [13.200025637384897]
本稿では,視覚に基づく問題行動認識システムにおいて,従来の手法よりも高い精度で性能を向上できることを示す。
問題行動の種類毎に「自由利用」言語記述を取り入れた2分岐マルチモーダルディープラーニングフレームワークを提案する。
実験結果から,言語指導を付加することで,自閉症の行動認識タスクに明らかなパフォーマンス向上がもたらされることが示された。
論文 参考訳（メタデータ） (2022-11-17T02:58:55Z) - Muti-view Mouse Social Behaviour Recognition with Deep Graphical Model [124.26611454540813]
マウスの社会的行動分析は神経変性疾患の治療効果を評価する貴重なツールである。
マウスの社会行動の豊かな記述を創出する可能性から、ネズミの観察にマルチビュービデオ記録を使用することは、ますます注目を集めている。
本稿では,ビュー固有のサブ構造とビュー共有サブ構造を協調的に学習する,新しい多視点潜在意識・動的識別モデルを提案する。
論文 参考訳（メタデータ） (2020-11-04T18:09:58Z) - Early Autism Spectrum Disorders Diagnosis Using Eye-Tracking Technology [62.997667081978825]
資金不足、資格のある専門家の欠如、そして修正方法に対する信頼度の低いことが、AMDのリアルタイム診断に影響を及ぼす主要な問題である。
我々のチームは、子どもの視線活動の情報に基づいて、ALDの確率を予測するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-08-21T20:22:55Z) - Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and
Convolutional Neural Networks [68.96150598294072]
未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。
網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。
近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。
本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。
提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
論文 参考訳（メタデータ） (2020-04-03T14:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。