論文の概要: MMASD+: A Novel Dataset for Privacy-Preserving Behavior Analysis of Children with Autism Spectrum Disorder
- arxiv url: http://arxiv.org/abs/2408.15077v2
- Date: Wed, 28 Aug 2024 20:30:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 18:15:34.365715
- Title: MMASD+: A Novel Dataset for Privacy-Preserving Behavior Analysis of Children with Autism Spectrum Disorder
- Title(参考訳): MMASD+:自閉症スペクトラム障害児のプライバシー保護行動分析のための新しいデータセット
- Authors: Pavan Uttej Ravva, Behdokht Kiafar, Pinar Kullu, Jicheng Li, Anjana Bhat, Roghayeh Leila Barmaki,
- Abstract要約: MMASD+は、Multimodal ASD(MMASD)と呼ばれる新しいオープンソースデータセットの拡張版である。
MMASD+は3D-Skeleton、3D Body Mesh、OCRデータを含む多様なデータモダリティで構成されている。
11種類のアクションタイプとASDの存在を予測するために,マルチモーダルトランスフォーマーフレームワークを提案する。
- 参考スコア(独自算出の注目度): 1.6210252731619712
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autism spectrum disorder (ASD) is characterized by significant challenges in social interaction and comprehending communication signals. Recently, therapeutic interventions for ASD have increasingly utilized Deep learning powered-computer vision techniques to monitor individual progress over time. These models are trained on private, non-public datasets from the autism community, creating challenges in comparing results across different models due to privacy-preserving data-sharing issues. This work introduces MMASD+, an enhanced version of the novel open-source dataset called Multimodal ASD (MMASD). MMASD+ consists of diverse data modalities, including 3D-Skeleton, 3D Body Mesh, and Optical Flow data. It integrates the capabilities of Yolov8 and Deep SORT algorithms to distinguish between the therapist and children, addressing a significant barrier in the original dataset. Additionally, a Multimodal Transformer framework is proposed to predict 11 action types and the presence of ASD. This framework achieves an accuracy of 95.03% for predicting action types and 96.42% for predicting ASD presence, demonstrating over a 10% improvement compared to models trained on single data modalities. These findings highlight the advantages of integrating multiple data modalities within the Multimodal Transformer framework.
- Abstract(参考訳): 自閉症スペクトラム障害(ASD)は、社会的相互作用やコミュニケーション信号の理解において重要な課題である。
近年, 深層学習によるコンピュータビジョン技術を活用して, 時間経過の観察を行っている。
これらのモデルは、自閉症コミュニティのプライベートで非パブリックなデータセットに基づいてトレーニングされており、プライバシを保存するデータ共有の問題によって、さまざまなモデル間で結果を比較する上での課題を生み出している。
MMASD+は、Multimodal ASD(MMASD)と呼ばれる新しいオープンソースデータセットの拡張版である。
MMASD+は3D-Skeleton、3D Body Mesh、OCRデータを含む多様なデータモダリティで構成されている。
Yolov8とDeep SORTアルゴリズムの機能を統合して、セラピストと子供の区別を可能にし、元のデータセットにおける大きな障壁に対処する。
さらに、11のアクションタイプとASDの存在を予測するために、Multimodal Transformerフレームワークが提案されている。
このフレームワークは、アクションタイプの予測に95.03%、ASDの存在予測に96.42%の精度を達成し、単一のデータモダリティでトレーニングされたモデルと比較して10%以上の改善が示されている。
これらの知見は、マルチモーダルトランスフォーマーフレームワークに複数のデータモダリティを統合する利点を強調している。
関連論文リスト
- Self-Supervised Pre-training Tasks for an fMRI Time-series Transformer in Autism Detection [3.665816629105171]
自閉症スペクトラム障害(Autism Spectrum disorder、ASD)は、様々な症状や障害の程度を包含する神経発達障害である。
我々は,関数接続を計算せずに時系列fMRIデータを直接解析するトランスフォーマーベースの自己教師型フレームワークを開発した。
ランダムにROIをマスキングすると、トレーニング前のステップでランダムにマスキングする時間ポイントよりも、モデル性能が向上することを示す。
論文 参考訳(メタデータ) (2024-09-18T20:29:23Z) - Ensemble Modeling of Multiple Physical Indicators to Dynamically Phenotype Autism Spectrum Disorder [3.6630139570443996]
自閉症スペクトラム障害(ASD)に関連する表現型マーカーを検出するためのコンピュータビジョンモデルをトレーニングするためのデータセットを提供する。
視線,頭位,顔のランドマークを入力として,LSTMを用いた個別モデルを訓練し,テストAUCは86%,67%,78%であった。
論文 参考訳(メタデータ) (2024-08-23T17:55:58Z) - MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。
近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。
SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文 参考訳(メタデータ) (2024-04-13T13:39:26Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳(メタデータ) (2023-09-13T10:40:41Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z) - Copy Number Variation Informs fMRI-based Prediction of Autism Spectrum
Disorder [9.544191399458954]
我々は、遺伝的、人口統計学的、神経画像データを組み合わせるためのより統合的なモデルを開発する。
表現型に対するジェノタイプの影響に触発されて,注意に基づくアプローチを提案する。
228ASDの性バランスデータセットを用いて,ASD分類と重度予測タスクに対する提案手法の評価を行った。
論文 参考訳(メタデータ) (2023-08-08T19:53:43Z) - MMASD: A Multimodal Dataset for Autism Intervention Analysis [2.0731167087748994]
この研究は、MultiModal ASDベンチマークデータセットとして、新しいプライバシ保護オープンソースデータセットであるMMASDを提示する。
MMASDには、ASDを持つ32人の子供のデータと、100時間以上の介入記録から区切られた1,315のデータが含まれている。
MMASDは、研究者やセラピストが子どもの認知状態を理解し、治療中の進捗を監視し、それに応じて治療計画をカスタマイズすることを目的としている。
論文 参考訳(メタデータ) (2023-06-14T05:04:11Z) - Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。
CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。
睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
論文 参考訳(メタデータ) (2023-05-30T08:24:01Z) - Domain Generalization with Adversarial Intensity Attack for Medical
Image Segmentation [27.49427483473792]
実世界のシナリオでは、トレーニング中に露出していない新しいドメインや異なるドメインのデータに遭遇することが一般的である。
ドメイン一般化(Domain Generalization, DG)は、モデルがこれまで見つからなかったドメインからのデータを扱うことを可能にする、有望な方向である。
本稿では,敵対的トレーニングを活用して無限のスタイルでトレーニングデータを生成する,AdverIN(Adversarial Intensity Attack)と呼ばれる新しいDG手法を提案する。
論文 参考訳(メタデータ) (2023-04-05T19:40:51Z) - Inertial Hallucinations -- When Wearable Inertial Devices Start Seeing
Things [82.15959827765325]
環境支援型生活(AAL)のためのマルチモーダルセンサフュージョンの新しいアプローチを提案する。
我々は、標準マルチモーダルアプローチの2つの大きな欠点、限られた範囲のカバレッジ、信頼性の低下に対処する。
我々の新しいフレームワークは、三重項学習によるモダリティ幻覚の概念を融合させ、異なるモダリティを持つモデルを訓練し、推論時に欠落したセンサーに対処する。
論文 参考訳(メタデータ) (2022-07-14T10:04:18Z) - Fader Networks for domain adaptation on fMRI: ABIDE-II study [68.5481471934606]
我々は3次元畳み込みオートエンコーダを用いて、無関係な空間画像表現を実現するとともに、ABIDEデータ上で既存のアプローチより優れていることを示す。
論文 参考訳(メタデータ) (2020-10-14T16:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。