論文の概要: Problem Behaviors Recognition in Videos using Language-Assisted Deep
Learning Model for Children with Autism
- arxiv url: http://arxiv.org/abs/2211.09310v1
- Date: Thu, 17 Nov 2022 02:58:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-18 16:22:18.329935
- Title: Problem Behaviors Recognition in Videos using Language-Assisted Deep
Learning Model for Children with Autism
- Title(参考訳): 言語支援深層学習モデルを用いた自閉症児の映像における問題行動認識
- Authors: Andong Deng and Taojiannan Yang and Chen Chen and Qian Chen and Leslie
Neely and Sakiko Oyama
- Abstract要約: 本稿では,視覚に基づく問題行動認識システムにおいて,従来の手法よりも高い精度で性能を向上できることを示す。
問題行動の種類毎に「自由利用」言語記述を取り入れた2分岐マルチモーダルディープラーニングフレームワークを提案する。
実験結果から,言語指導を付加することで,自閉症の行動認識タスクに明らかなパフォーマンス向上がもたらされることが示された。
- 参考スコア(独自算出の注目度): 9.727735915509708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Correctly recognizing the behaviors of children with Autism Spectrum Disorder
(ASD) is of vital importance for the diagnosis of Autism and timely early
intervention. However, the observation and recording during the treatment from
the parents of autistic children may not be accurate and objective. In such
cases, automatic recognition systems based on computer vision and machine
learning (in particular deep learning) technology can alleviate this issue to a
large extent. Existing human action recognition models can now achieve
persuasive performance on challenging activity datasets, e.g. daily activity,
and sports activity. However, problem behaviors in children with ASD are very
different from these general activities, and recognizing these problem
behaviors via computer vision is less studied. In this paper, we first evaluate
a strong baseline for action recognition, i.e. Video Swin Transformer, on two
autism behaviors datasets (SSBD and ESBD) and show that it can achieve high
accuracy and outperform the previous methods by a large margin, demonstrating
the feasibility of vision-based problem behaviors recognition. Moreover, we
propose language-assisted training to further enhance the action recognition
performance. Specifically, we develop a two-branch multimodal deep learning
framework by incorporating the "freely available" language description for each
type of problem behavior. Experimental results demonstrate that incorporating
additional language supervision can bring an obvious performance boost for the
autism problem behaviors recognition task as compared to using the video
information only (i.e. 3.49% improvement on ESBD and 1.46% on SSBD).
- Abstract(参考訳): 自閉症スペクトラム障害(ASD)児の行動の正確な認識は,自閉症の診断や早期介入において極めて重要である。
しかし,自閉症児の親による治療中の観察と記録は正確で客観的なものではない。
このような場合、コンピュータビジョンと機械学習(特にディープラーニング)技術に基づく自動認識システムは、この問題を大幅に軽減することができる。
既存のヒューマンアクション認識モデルは、日々の活動やスポーツ活動など、挑戦的なアクティビティデータセットで説得力のあるパフォーマンスを実現することができる。
しかし,ASD児における問題行動はこれらの一般的な行動とは大きく異なり,コンピュータビジョンによる問題行動の認識は少ない。
本稿では,2つの自閉症行動データセット(ssbdおよびesbd)上での行動認識の強力なベースライン,すなわちビデオスウィントランスを評価し,従来の手法よりも高い精度を達成し,大きなマージンで先行手法に勝ることを示し,視覚に基づく問題行動認識の実現可能性を示す。
さらに,行動認識性能を高めるために,言語支援トレーニングを提案する。
具体的には,問題行動の各タイプに「フリーで利用可能な」言語記述を組み込んで,マルチモーダル深層学習フレームワークを開発した。
実験結果から,言語指導を付加することで,映像情報のみを使用する場合に比べて,自閉症問題行動認識タスクの性能が向上することが示唆された(ESBDは3.49%,SSBDは1.46%)。
関連論文リスト
- Challenges in Video-Based Infant Action Recognition: A Critical
Examination of the State of the Art [9.327466428403916]
InfActPrimitive’という,5つの重要な幼児マイルストーンアクションカテゴリを含む,画期的なデータセットを紹介します。
近縁骨格に基づく行動認識モデルを用いた広範囲な比較分析を行う。
以上の結果から,PoseC3Dモデルでは約71%の精度で高い精度を達成できたが,残りのモデルでは乳幼児行動の動態を正確に把握することが困難であった。
論文 参考訳(メタデータ) (2023-11-21T02:36:47Z) - Leveraging Pretrained Representations with Task-related Keywords for
Alzheimer's Disease Detection [69.53626024091076]
アルツハイマー病(AD)は高齢者に特に顕著である。
事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。
本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
論文 参考訳(メタデータ) (2023-03-14T16:03:28Z) - Comparison of Probabilistic Deep Learning Methods for Autism Detection [0.0]
自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、現在世界中で普及している神経発達障害の一つ。
この疾患の早期発見は、発症治療に役立ち、正常な生活を導くのに役立つ。
論文 参考訳(メタデータ) (2023-03-09T17:49:37Z) - Action-based Early Autism Diagnosis Using Contrastive Feature Learning [2.922007656878633]
自閉症スペクトラム障害(Autism Spectrum disorder, ASD)は、神経疾患である。
その主な症状は、(言語および/または非言語)コミュニケーションの困難さ、硬直的/反復的な行動である。
本稿では,簡単なアクションビデオクリップを用いて,自閉症の診断を自動化するための学習的アプローチを提案する。
論文 参考訳(メタデータ) (2022-09-12T16:31:34Z) - Vision-Based Activity Recognition in Children with Autism-Related
Behaviors [15.915410623440874]
臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。
データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。
時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
論文 参考訳(メタデータ) (2022-08-08T15:12:27Z) - Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。
IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
論文 参考訳(メタデータ) (2021-07-26T10:40:59Z) - A Two-stage Multi-modal Affect Analysis Framework for Children with
Autism Spectrum Disorder [3.029434408969759]
実環境における遊び療法におけるASDの影響状態の3つの主要な影響状態を予測するために,音響的および視覚的手がかりを利用したオープンソースの2段階マルチモーダルアプローチを提案する。
この研究は、2段階のスキーマを提案することによって、ASDに対する人間の専門知識とマシンインテリジェンスを組み合わせる新しい方法を示す。
論文 参考訳(メタデータ) (2021-06-17T01:28:53Z) - Non-contact Pain Recognition from Video Sequences with Remote
Physiological Measurements Prediction [53.03469655641418]
痛み認識のための非接触方式で外観変化と生理的手がかりの両方を符号化する新しいマルチタスク学習フレームワークを提案する。
我々は、一般に利用可能な痛みデータベース上で、非接触痛認識の最先端性能を確立する。
論文 参考訳(メタデータ) (2021-05-18T20:47:45Z) - Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units
and a Unified Framework [83.21732533130846]
Aff-Wild と Aff-Wild2 の2つである。
これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。
インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
論文 参考訳(メタデータ) (2021-03-29T17:36:20Z) - Early Autism Spectrum Disorders Diagnosis Using Eye-Tracking Technology [62.997667081978825]
資金不足、資格のある専門家の欠如、そして修正方法に対する信頼度の低いことが、AMDのリアルタイム診断に影響を及ぼす主要な問題である。
我々のチームは、子どもの視線活動の情報に基づいて、ALDの確率を予測するアルゴリズムを開発した。
論文 参考訳(メタデータ) (2020-08-21T20:22:55Z) - Continuous Emotion Recognition via Deep Convolutional Autoencoder and
Support Vector Regressor [70.2226417364135]
マシンはユーザの感情状態を高い精度で認識できることが不可欠である。
ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。
表情認識に基づく連続的感情認識のための新しいモデルを提案する。
論文 参考訳(メタデータ) (2020-01-31T17:47:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。