論文の概要: Problem Behaviors Recognition in Videos using Language-Assisted Deep Learning Model for Children with Autism

• arxiv url: http://arxiv.org/abs/2211.09310v1
• Date: Thu, 17 Nov 2022 02:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 16:22:18.329935
• Title: Problem Behaviors Recognition in Videos using Language-Assisted Deep Learning Model for Children with Autism
• Title（参考訳）: 言語支援深層学習モデルを用いた自閉症児の映像における問題行動認識
• Authors: Andong Deng and Taojiannan Yang and Chen Chen and Qian Chen and Leslie Neely and Sakiko Oyama
• Abstract要約: 本稿では,視覚に基づく問題行動認識システムにおいて,従来の手法よりも高い精度で性能を向上できることを示す。 問題行動の種類毎に「自由利用」言語記述を取り入れた2分岐マルチモーダルディープラーニングフレームワークを提案する。 実験結果から,言語指導を付加することで,自閉症の行動認識タスクに明らかなパフォーマンス向上がもたらされることが示された。
• 参考スコア（独自算出の注目度）: 9.727735915509708
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Correctly recognizing the behaviors of children with Autism Spectrum Disorder (ASD) is of vital importance for the diagnosis of Autism and timely early intervention. However, the observation and recording during the treatment from the parents of autistic children may not be accurate and objective. In such cases, automatic recognition systems based on computer vision and machine learning (in particular deep learning) technology can alleviate this issue to a large extent. Existing human action recognition models can now achieve persuasive performance on challenging activity datasets, e.g. daily activity, and sports activity. However, problem behaviors in children with ASD are very different from these general activities, and recognizing these problem behaviors via computer vision is less studied. In this paper, we first evaluate a strong baseline for action recognition, i.e. Video Swin Transformer, on two autism behaviors datasets (SSBD and ESBD) and show that it can achieve high accuracy and outperform the previous methods by a large margin, demonstrating the feasibility of vision-based problem behaviors recognition. Moreover, we propose language-assisted training to further enhance the action recognition performance. Specifically, we develop a two-branch multimodal deep learning framework by incorporating the "freely available" language description for each type of problem behavior. Experimental results demonstrate that incorporating additional language supervision can bring an obvious performance boost for the autism problem behaviors recognition task as compared to using the video information only (i.e. 3.49% improvement on ESBD and 1.46% on SSBD).
• Abstract（参考訳）: 自閉症スペクトラム障害(ASD)児の行動の正確な認識は,自閉症の診断や早期介入において極めて重要である。 しかし,自閉症児の親による治療中の観察と記録は正確で客観的なものではない。 このような場合、コンピュータビジョンと機械学習(特にディープラーニング)技術に基づく自動認識システムは、この問題を大幅に軽減することができる。 既存のヒューマンアクション認識モデルは、日々の活動やスポーツ活動など、挑戦的なアクティビティデータセットで説得力のあるパフォーマンスを実現することができる。 しかし,ASD児における問題行動はこれらの一般的な行動とは大きく異なり,コンピュータビジョンによる問題行動の認識は少ない。 本稿では,2つの自閉症行動データセット(ssbdおよびesbd)上での行動認識の強力なベースライン,すなわちビデオスウィントランスを評価し,従来の手法よりも高い精度を達成し,大きなマージンで先行手法に勝ることを示し,視覚に基づく問題行動認識の実現可能性を示す。 さらに,行動認識性能を高めるために,言語支援トレーニングを提案する。 具体的には,問題行動の各タイプに「フリーで利用可能な」言語記述を組み込んで,マルチモーダル深層学習フレームワークを開発した。 実験結果から,言語指導を付加することで,映像情報のみを使用する場合に比べて,自閉症問題行動認識タスクの性能が向上することが示唆された(ESBDは3.49%,SSBDは1.46%)。

関連論文リスト

• Localizing Moments of Actions in Untrimmed Videos of Infants with Autism Spectrum Disorder [5.2289135066938375]
  乳児ビデオにおけるASD関連行動の同定を目的とした自己注意型TALモデルを提案する。 本研究は, 乳児の非トリミングビデオにおいて, エンド・ツー・エンドの時間的行動の局所化を初めて実施した症例である。 顔の70%の精度、顔の79%の精度、笑顔の72%、発声の65%を実現した。
  論文  参考訳（メタデータ） (2024-04-08T20:31:27Z)
• Hear Me, See Me, Understand Me: Audio-Visual Autism Behavior Recognition [47.550391816383794]
  本稿では,音声・視覚自閉症の行動認識の新たな課題について紹介する。 社会的行動認識は、AIによる自閉症スクリーニング研究において、これまで省略されてきた重要な側面である。 データセット、コード、事前トレーニングされたモデルをリリースします。
  論文  参考訳（メタデータ） (2024-03-22T22:52:35Z)
• Video-Based Autism Detection with Deep Learning [0.0]
  感覚刺激に反応する子供の映像クリップを解析する深層学習モデルを開発した。 以上の結果から,本モデルは子どもの運動における重要な違いを効果的に一般化し,理解していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-26T17:45:00Z)
• Leveraging Pretrained Representations with Task-related Keywords for Alzheimer's Disease Detection [69.53626024091076]
  アルツハイマー病(AD)は高齢者に特に顕著である。 事前学習モデルの最近の進歩は、AD検出モデリングを低レベル特徴から高レベル表現にシフトさせる動機付けとなっている。 本稿では,高レベルの音響・言語的特徴から,より優れたAD関連手がかりを抽出する,いくつかの効率的な手法を提案する。
  論文  参考訳（メタデータ） (2023-03-14T16:03:28Z)
• Comparison of Probabilistic Deep Learning Methods for Autism Detection [0.0]
  自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、現在世界中で普及している神経発達障害の一つ。 この疾患の早期発見は、発症治療に役立ち、正常な生活を導くのに役立つ。
  論文  参考訳（メタデータ） (2023-03-09T17:49:37Z)
• Vision-Based Activity Recognition in Children with Autism-Related Behaviors [15.915410623440874]
  臨床医や親が子どもの行動を分析するのに役立つ地域型コンピュータビジョンシステムの効果を実証する。 データは、ビデオ中の対象の子供を検出し、背景雑音の影響を低減することで前処理される。 時間的畳み込みモデルの有効性から,ビデオフレームから動作特徴を抽出できる軽量モデルと従来モデルの両方を提案する。
  論文  参考訳（メタデータ） (2022-08-08T15:12:27Z)
• Towards Unbiased Visual Emotion Recognition via Causal Intervention [63.74095927462]
  本稿では,データセットバイアスによる負の効果を軽減するために,新しい感情認識ネットワーク(IERN)を提案する。 IERNの有効性を検証する一連の設計されたテストと、3つの感情ベンチマークの実験は、IERNが他の最先端のアプローチよりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-07-26T10:40:59Z)
• A Two-stage Multi-modal Affect Analysis Framework for Children with Autism Spectrum Disorder [3.029434408969759]
  実環境における遊び療法におけるASDの影響状態の3つの主要な影響状態を予測するために,音響的および視覚的手がかりを利用したオープンソースの2段階マルチモーダルアプローチを提案する。 この研究は、2段階のスキーマを提案することによって、ASDに対する人間の専門知識とマシンインテリジェンスを組み合わせる新しい方法を示す。
  論文  参考訳（メタデータ） (2021-06-17T01:28:53Z)
• Affect Analysis in-the-wild: Valence-Arousal, Expressions, Action Units and a Unified Framework [83.21732533130846]
  Aff-Wild と Aff-Wild2 の2つである。 これは、これらのデータベースで訓練された深層ニューラルネットワークの2つのクラスの設計を示す。 インパクト認識を共同で学び、効果的に一般化し、実行することができる新しいマルチタスクおよび全体主義のフレームワークが提示されます。
  論文  参考訳（メタデータ） (2021-03-29T17:36:20Z)
• Early Autism Spectrum Disorders Diagnosis Using Eye-Tracking Technology [62.997667081978825]
  資金不足、資格のある専門家の欠如、そして修正方法に対する信頼度の低いことが、AMDのリアルタイム診断に影響を及ぼす主要な問題である。 我々のチームは、子どもの視線活動の情報に基づいて、ALDの確率を予測するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2020-08-21T20:22:55Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。