論文の概要: Leveraging Embedding Techniques in Multimodal Machine Learning for Mental Illness Assessment
- arxiv url: http://arxiv.org/abs/2504.01767v1
- Date: Wed, 02 Apr 2025 14:19:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 19:59:19.388628
- Title: Leveraging Embedding Techniques in Multimodal Machine Learning for Mental Illness Assessment
- Title（参考訳）: 精神疾患評価のためのマルチモーダル機械学習における埋め込み手法の活用
- Authors: Abdelrahaman A. Hassan, Abdelrahman A. Ali, Aya E. Fouda, Radwa J. Hanafy, Mohammed E. Fouda,
- Abstract要約: うつ病やPTSDなどの精神疾患の世界的な流行は、客観的でスケーラブルな診断ツールを必要とする。
本稿では、テキスト、音声、ビデオデータに相補的な情報を活用することで、これらの課題に対処するためのマルチモーダル機械学習の可能性を検討する。
大規模言語モデル予測の新たな統合を含む,データレベル,機能レベル,意思決定レベルの融合技術について検討する。
- 参考スコア（独自算出の注目度）: 0.8458496687170665
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The increasing global prevalence of mental disorders, such as depression and PTSD, requires objective and scalable diagnostic tools. Traditional clinical assessments often face limitations in accessibility, objectivity, and consistency. This paper investigates the potential of multimodal machine learning to address these challenges, leveraging the complementary information available in text, audio, and video data. Our approach involves a comprehensive analysis of various data preprocessing techniques, including novel chunking and utterance-based formatting strategies. We systematically evaluate a range of state-of-the-art embedding models for each modality and employ Convolutional Neural Networks (CNNs) and Bidirectional LSTM Networks (BiLSTMs) for feature extraction. We explore data-level, feature-level, and decision-level fusion techniques, including a novel integration of Large Language Model (LLM) predictions. We also investigate the impact of replacing Multilayer Perceptron classifiers with Support Vector Machines. We extend our analysis to severity prediction using PHQ-8 and PCL-C scores and multi-class classification (considering co-occurring conditions). Our results demonstrate that utterance-based chunking significantly improves performance, particularly for text and audio modalities. Decision-level fusion, incorporating LLM predictions, achieves the highest accuracy, with a balanced accuracy of 94.8% for depression and 96.2% for PTSD detection. The combination of CNN-BiLSTM architectures with utterance-level chunking, coupled with the integration of external LLM, provides a powerful and nuanced approach to the detection and assessment of mental health conditions. Our findings highlight the potential of MMML for developing more accurate, accessible, and personalized mental healthcare tools.
- Abstract（参考訳）: うつ病やPTSDなどの精神疾患の世界的な流行は、客観的でスケーラブルな診断ツールを必要とする。
伝統的な臨床評価は、しばしばアクセシビリティ、客観性、一貫性の制限に直面している。
本稿では、テキスト、音声、ビデオデータに相補的な情報を活用することで、これらの課題に対処するためのマルチモーダル機械学習の可能性を検討する。
提案手法では,新しいチャンキングや発話ベースのフォーマット戦略など,さまざまなデータ前処理手法を包括的に分析する。
我々は,各モードに対する最先端の埋め込みモデルを体系的に評価し,特徴抽出に畳み込みニューラルネットワーク(CNN)と双方向LSTMネットワーク(BiLSTM)を用いる。
LLM(Large Language Model)予測の新たな統合を含む,データレベル,機能レベル,意思決定レベルの融合技術について検討する。
また,多層パーセプトロン分類器をSupport Vector Machineに置き換える影響についても検討した。
PHQ-8 と PCL-C スコアと多クラス分類(共起条件を考慮した)を用いて,解析結果を重大度予測に拡張する。
以上の結果から,特にテキスト・オーディオ・モダリティにおいて,発話ベースのチャンキングにより性能が著しく向上することが示唆された。
LLM予測を取り入れた決定レベルの融合は、抑うつでは94.8%、PTSD検出では96.2%のバランスの取れた精度で最高精度を達成する。
CNN-BiLSTMアーキテクチャと発話レベルのチャンキングの組み合わせは、外部LLMの統合と相まって、精神状態の検出と評価に対する強力でニュアンスなアプローチを提供する。
本研究は,より正確で,アクセスしやすく,パーソナライズされたメンタルヘルスケアツールを開発するためのMMMLの可能性を明らかにするものである。
関連論文リスト
- Dementia Insights: A Context-Based MultiModal Approach [0.3749861135832073]
早期発見は、病気の進行を遅らせる可能性のあるタイムリーな介入に不可欠である。
テキストと音声のための大規模事前学習モデル(LPM)は、認知障害の識別において有望であることを示している。
本研究は,テキストデータと音声データを最高の性能のLPMを用いて統合する,コンテキストベースのマルチモーダル手法を提案する。
論文 参考訳（メタデータ） (2025-03-03T06:46:26Z) - Uncertainty-aware abstention in medical diagnosis based on medical texts [87.88110503208016]
本研究は,AI支援医療診断における信頼性の重要課題について論じる。
本研究は,診断に自信がなければ,診断システムによる意思決定の回避を可能にする選択予測手法に焦点をあてる。
我々は、選択予測タスクにおける信頼性を高めるための新しい最先端手法であるHUQ-2を紹介する。
論文 参考訳（メタデータ） (2025-02-25T10:15:21Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳（メタデータ） (2025-01-07T08:49:04Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
論文 参考訳（メタデータ） (2024-10-06T18:46:28Z) - MedTsLLM: Leveraging LLMs for Multimodal Medical Time Series Analysis [6.30440420617113]
MedTsLLMは、時系列データとリッチな文脈情報をテキスト形式で統合し、生理的信号を解析する汎用多モーダル大規模言語モデル(LLM)フレームワークである。
本研究は,連続時間における意味的セグメンテーション,境界検出,異常検出という,臨床的関連性のある3つのタスクを実行する。
我々のモデルは、深層学習モデル、他のLSM、および複数の医療領域における臨床方法など、最先端のベースラインよりも優れています。
論文 参考訳（メタデータ） (2024-08-14T18:57:05Z) - Machine Learning Applications in Medical Prognostics: A Comprehensive Review [0.0]
機械学習(ML)は、高度なアルゴリズムと臨床データを統合することで、医学的診断に革命をもたらした。
RFモデルは高次元データの処理において堅牢な性能を示す。
CNNは、がん検出において異常な精度を示している。
LSTMネットワークは、時間的データの解析に優れ、臨床劣化の正確な予測を提供する。
論文 参考訳（メタデータ） (2024-08-05T09:41:34Z) - SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。
内科的知識を活用しててててんかんの診断を行う技術について検討した。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z) - L-SFAN: Lightweight Spatially-focused Attention Network for Pain Behavior Detection [44.016805074560295]
慢性的な腰痛 (CLBP) は世界中の何百万もの患者を悩ませており、個人の健康や医療システムに対する経済的負担に大きな影響を及ぼす。
人工知能(AI)とディープラーニングは、リハビリ戦略を改善するために痛みに関連する行動を分析するための有望な道を提供するが、畳み込みニューラルネットワーク(CNN)を含む現在のモデルには限界がある。
我々は、モーションキャプチャーと表面筋電図センサからデータの空間的時間的相互作用をキャプチャする2Dフィルタを組み込んだ軽量CNNアーキテクチャであるhbox EmoL-SFANを紹介する。
論文 参考訳（メタデータ） (2024-06-07T12:01:37Z) - XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
多層構造プロンプトを用いたゼロショット/ファウショットインコンテキスト学習(ICL)のための新しい手法を開発した。
また、ユーザと大規模言語モデル(LLM)間の2つのコミュニケーションスタイルの有効性についても検討する。
本研究は,性別バイアスや偽陰性率などの診断精度とリスク要因を系統的に評価する。
論文 参考訳（メタデータ） (2024-05-10T06:52:44Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳（メタデータ） (2023-12-29T14:28:04Z) - Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites:
A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。
我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。
また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
論文 参考訳（メタデータ） (2023-08-31T00:36:10Z) - Improving Clinical Decision Support through Interpretable Machine Learning and Error Handling in Electronic Health Records [6.594072648536156]
Trust-MAPSは、臨床領域の知識を高次元の混合整数プログラミングモデルに変換する。
信頼スコアは、臨床決定支援タスクの予測性能を高めるだけでなく、MLモデルに解釈可能性を与える臨床的に有意義な特徴として出現する。
論文 参考訳（メタデータ） (2023-08-21T15:14:49Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳（メタデータ） (2023-05-25T16:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。