論文の概要: A Novel Audio-Visual Information Fusion System for Mental Disorders Detection
- arxiv url: http://arxiv.org/abs/2409.02243v1
- Date: Tue, 3 Sep 2024 19:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-05 21:27:46.241507
- Title: A Novel Audio-Visual Information Fusion System for Mental Disorders Detection
- Title（参考訳）: 心的障害検出のための新しいオーディオ・ビジュアル情報融合システム
- Authors: Yichun Li, Shuanglin Li, Syed Mohsen Naqvi,
- Abstract要約: メンタル障害は、世界的な医療課題に最も貢献している。
本稿では,精神疾患の感情表現機能に着目し,音声・視覚情報入力に基づくマルチモーダル精神障害診断システムを導入する。
提案システムは空間的時間的注意ネットワークをベースとし,より計算力の低い事前学習音声認識ネットワークを用いて,より優れた結果を得るためにビデオ認識モジュールを微調整する。
- 参考スコア（独自算出の注目度）: 6.3344832182228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mental disorders are among the foremost contributors to the global healthcare challenge. Research indicates that timely diagnosis and intervention are vital in treating various mental disorders. However, the early somatization symptoms of certain mental disorders may not be immediately evident, often resulting in their oversight and misdiagnosis. Additionally, the traditional diagnosis methods incur high time and cost. Deep learning methods based on fMRI and EEG have improved the efficiency of the mental disorder detection process. However, the cost of the equipment and trained staff are generally huge. Moreover, most systems are only trained for a specific mental disorder and are not general-purpose. Recently, physiological studies have shown that there are some speech and facial-related symptoms in a few mental disorders (e.g., depression and ADHD). In this paper, we focus on the emotional expression features of mental disorders and introduce a multimodal mental disorder diagnosis system based on audio-visual information input. Our proposed system is based on spatial-temporal attention networks and innovative uses a less computationally intensive pre-train audio recognition network to fine-tune the video recognition module for better results. We also apply the unified system for multiple mental disorders (ADHD and depression) for the first time. The proposed system achieves over 80\% accuracy on the real multimodal ADHD dataset and achieves state-of-the-art results on the depression dataset AVEC 2014.
- Abstract（参考訳）: メンタル障害は、世界的な医療課題に最も貢献している。
研究は、様々な精神疾患の治療において、タイムリーな診断と介入が不可欠であることを示している。
しかし、特定の精神疾患の早期体性化症状はすぐには明らかではなく、しばしばその監視と誤診をもたらす。
また、従来の診断方法では、高い時間とコストがかかる。
fMRIと脳波に基づく深層学習法は、精神障害検出プロセスの効率を改善した。
しかし、設備と訓練スタッフのコストは概して大きい。
さらに、ほとんどのシステムは特定の精神障害のためにのみ訓練されており、汎用的ではない。
近年、生理学的研究により、いくつかの精神疾患(例えば、うつ病、ADHD)に音声および顔面関連症状が存在することが示されている。
本稿では,精神疾患の感情表現機能に着目し,音声・視覚情報入力に基づくマルチモーダル精神障害診断システムを導入する。
提案システムは空間的時間的注意ネットワークをベースとし,より計算力の低い事前学習音声認識ネットワークを用いて,より優れた結果を得るためにビデオ認識モジュールを微調整する。
また,多発性精神疾患(ADHD,うつ病)に対する統合システムも初めて適用した。
提案システムは,実マルチモーダルADHDデータセット上で80%以上の精度を達成し,うつ病データセットAVEC 2014の最先端結果を達成する。
関連論文リスト
- MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
メンタルヘルス障害は世界で最も深刻な病気の1つである。
プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。
MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
論文 参考訳（メタデータ） (2024-10-09T13:06:40Z) - Empowering Psychotherapy with Large Language Models: Cognitive
Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。
DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。
実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
論文 参考訳（メタデータ） (2023-10-11T02:47:21Z) - UniBrain: Universal Brain MRI Diagnosis with Hierarchical
Knowledge-enhanced Pre-training [66.16134293168535]
我々はUniBrainと呼ばれるユニバーサル脳MRI診断のための階層的知識強化事前訓練フレームワークを提案する。
具体的には、UniBrainは、定期的な診断から24,770のイメージレポートペアの大規模なデータセットを活用する。
論文 参考訳（メタデータ） (2023-09-13T09:22:49Z) - Deep learning reveals the common spectrum underlying multiple brain
disorders in youth and elders from brain functional networks [53.257804915263165]
ヒトの初期および後期の脳障害は、脳機能における病理学的変化を共有する可能性がある。
病理的共通性に関する神経画像データによる重要な証拠はいまだ発見されていない。
多地点機能磁気共鳴画像データを用いたディープラーニングモデルを構築し、健康的な制御から5つの異なる脳障害を分類する。
論文 参考訳（メタデータ） (2023-02-23T09:22:05Z) - Multi-site Diagnostic Classification Of Schizophrenia Using 3D CNN On
Aggregated Task-based fMRI Data [0.0]
統合失調症の発展の基盤となるメカニズムと、その再発、症状学、治療は謎のままである。
統合失調症の多様性と複雑な性質に対処するための適切な分析ツールがないことは、この疾患の発生に寄与する要因の1つである可能性がある。
深層学習は統合失調症の根底にあるメカニズムを理解する強力なツールになる可能性がある。
論文 参考訳（メタデータ） (2022-10-11T08:12:36Z) - RobIn: A Robust Interpretable Deep Network for Schizophrenia Diagnosis [12.180396034315807]
統合失調症は、長く複雑な診断プロセスを必要とする重度の精神疾患である。
脳画像データから統合失調症の診断にディープラーニングを応用しようとする試みは、将来性を示しているが、大きなトレーニングと応用のギャップに悩まされている。
我々は、アクセスしやすいデータに焦点をあてて、このトレーニングとアプリケーション間のギャップを減らすことを提案する。
論文 参考訳（メタデータ） (2022-03-31T15:01:35Z) - A Multimodal Approach for Automatic Mania Assessment in Bipolar Disorder [0.0]
我々は,患者の音響的,言語的,視覚的モダリティの記録に基づくマルチモーダル意思決定システムを構築した。
我々は64.8%の非重み付き平均リコールスコアを達成し、このデータセットで達成された最先端のパフォーマンスを改善した。
論文 参考訳（メタデータ） (2021-12-17T12:09:01Z) - EEG functional connectivity and deep learning for automatic diagnosis of
brain disorders: Alzheimer's disease and schizophrenia [0.0]
脳波時系列と深層学習から得られた関係の行列に基づく精神障害の自動診断法を提案する。
我々は,アルツハイマー病と統合失調症の患者を高い精度で分類できることを示した。
論文 参考訳（メタデータ） (2021-10-07T23:26:38Z) - Meta-learning on Spectral Images of Electroencephalogram of
Schizophenics [0.0]
統合失調症 (Schizophrenia) は、思考パターン、知覚、気分、行動の変化を含む複雑な精神疾患である。
神経イメージングと機械学習アルゴリズムの進歩は統合失調症の診断を促進する。
論文 参考訳（メタデータ） (2021-01-27T20:51:25Z) - Deep Multi-task Learning for Depression Detection and Prediction in
Longitudinal Data [50.02223091927777]
うつ病は最も多い精神疾患の1つであり、世界中の年齢の何百万人もの人々に影響を与えている。
機械学習技術は、早期介入と治療のためのうつ病の自動検出と予測を可能にしている。
本稿では、この課題に対処するために、2つの補助的タスクでうつ病分類を共同最適化する、新しいディープマルチタスクリカレントニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2020-12-05T05:14:14Z) - Early Autism Spectrum Disorders Diagnosis Using Eye-Tracking Technology [62.997667081978825]
資金不足、資格のある専門家の欠如、そして修正方法に対する信頼度の低いことが、AMDのリアルタイム診断に影響を及ぼす主要な問題である。
我々のチームは、子どもの視線活動の情報に基づいて、ALDの確率を予測するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-08-21T20:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。