論文の概要: Still Not Quite There! Evaluating Large Language Models for Comorbid Mental Health Diagnosis
- arxiv url: http://arxiv.org/abs/2410.03908v1
- Date: Fri, 4 Oct 2024 20:24:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 15:31:01.541192
- Title: Still Not Quite There! Evaluating Large Language Models for Comorbid Mental Health Diagnosis
- Title(参考訳): メンタルヘルス診断のための大規模言語モデルの評価
- Authors: Amey Hengle, Atharva Kulkarni, Shantanu Patankar, Madhumitha Chandrasekaran, Sneha D'Silva, Jemima Jacob, Rashmi Gupta,
- Abstract要約: 我々は、ソーシャルメディア投稿からの抑うつ不安のコorbidity分類のための、新しいファースト・オブ・イットのベンチマークであるAN GSTを紹介する。
我々は、メンタル-BERT から GPT-4 まで、様々な最先端言語モデルを用いてAN GSTをベンチマークする。
GPT-4は一般に他のモデルより優れているが、F1スコアが72%を超えるようなマルチクラスのコンコービッド分類は達成していない。
- 参考スコア(独自算出の注目度): 9.738105623317601
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this study, we introduce ANGST, a novel, first-of-its kind benchmark for depression-anxiety comorbidity classification from social media posts. Unlike contemporary datasets that often oversimplify the intricate interplay between different mental health disorders by treating them as isolated conditions, ANGST enables multi-label classification, allowing each post to be simultaneously identified as indicating depression and/or anxiety. Comprising 2876 meticulously annotated posts by expert psychologists and an additional 7667 silver-labeled posts, ANGST posits a more representative sample of online mental health discourse. Moreover, we benchmark ANGST using various state-of-the-art language models, ranging from Mental-BERT to GPT-4. Our results provide significant insights into the capabilities and limitations of these models in complex diagnostic scenarios. While GPT-4 generally outperforms other models, none achieve an F1 score exceeding 72% in multi-class comorbid classification, underscoring the ongoing challenges in applying language models to mental health diagnostics.
- Abstract(参考訳): 本研究では,ソーシャルメディア投稿からの抑うつ不安度分類のための,新しい第一種ベンチマークであるANGSTを紹介する。
異なるメンタルヘルス障害間の複雑な相互作用を、孤立した状態として扱うことで、しばしば単純化する現代のデータセットとは異なり、ANGSTは複数のラベルの分類を可能にし、各ポストをうつ病や不安を示すものとして同時に識別することができる。
専門家心理学者による2876の微妙な注釈付き投稿と7667の銀ラベル付き投稿を補完し、ANGSTはオンラインのメンタルヘルス談話のより代表的なサンプルを提示する。
さらに、メンタル-BERT から GPT-4 まで、様々な最先端言語モデルを用いてANGST をベンチマークする。
我々の結果は、複雑な診断シナリオにおけるこれらのモデルの能力と限界に関する重要な洞察を提供する。
GPT-4は一般的に他のモデルよりも優れていますが、F1スコアはマルチクラスのコンコービッド分類で72%を超え、メンタルヘルス診断に言語モデルを適用する上で進行中の課題を浮き彫りにしています。
関連論文リスト
- MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
メンタルヘルス障害は世界で最も深刻な病気の1つである。
プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。
MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
論文 参考訳(メタデータ) (2024-10-09T13:06:40Z) - Depression Detection and Analysis using Large Language Models on Textual and Audio-Visual Modalities [25.305909441170993]
うつ病は公衆衛生上の重大な問題であり、個人の心理的健康に大きな影響を与えている。
診断されていない場合、うつ病は重篤な健康問題を引き起こし、身体的に現れて自殺に至る。
論文 参考訳(メタデータ) (2024-07-08T17:00:51Z) - LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。
得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文 参考訳(メタデータ) (2024-06-09T09:03:11Z) - Assessing ML Classification Algorithms and NLP Techniques for Depression Detection: An Experimental Case Study [0.6524460254566905]
うつ病は世界中で何百万人もの人々に影響を与えており、最も一般的な精神疾患の1つとなっている。
近年の研究では、機械学習(ML)と自然言語処理(NLP)のツールや技術がうつ病の診断に広く用いられていることが証明されている。
しかし, 外傷後ストレス障害 (PTSD) などの他の症状が存在するうつ病検出アプローチの評価には, 依然としていくつかの課題がある。
論文 参考訳(メタデータ) (2024-04-03T19:45:40Z) - Mental Health Diagnosis in the Digital Age: Harnessing Sentiment
Analysis on Social Media Platforms upon Ultra-Sparse Feature Content [3.6195994708545016]
3次元構造を持つ新しい意味的特徴前処理手法を提案する。
強化されたセマンティック機能により、精神障害を予測および分類するために機械学習モデルを訓練する。
提案手法は,7つのベンチマークモデルと比較して,大幅な性能向上を示した。
論文 参考訳(メタデータ) (2023-11-09T00:15:06Z) - Robust and Interpretable Medical Image Classifiers via Concept
Bottleneck Models [49.95603725998561]
本稿では,自然言語の概念を用いた堅牢で解釈可能な医用画像分類器を構築するための新しいパラダイムを提案する。
具体的には、まず臨床概念をGPT-4から検索し、次に視覚言語モデルを用いて潜在画像の特徴を明示的な概念に変換する。
論文 参考訳(メタデータ) (2023-10-04T21:57:09Z) - Handwriting and Drawing for Depression Detection: A Preliminary Study [53.11777541341063]
精神健康に対する短期的コビデンスの影響は、不安や抑うつ症状の顕著な増加であった。
本研究の目的は、健康な人とうつ病患者を識別するために、オンライン手書き・図面解析という新しいツールを使用することである。
論文 参考訳(メタデータ) (2023-02-05T22:33:49Z) - Automated speech- and text-based classification of neuropsychiatric
conditions in a multidiagnostic setting [2.0972270756982536]
音声パターンは神経精神疾患の診断マーカーとして認識されている。
我々は,機械学習モデルと高度なトランスフォーマーモデルの性能を,二進分類と多進分類の両方で検証した。
以上の結果から,二項分類で訓練したモデルは,臨床と非臨床の集団間の一般的な差異のマーカーに依存することが示唆された。
論文 参考訳(メタデータ) (2023-01-13T08:24:21Z) - Exploring Hybrid and Ensemble Models for Multiclass Prediction of Mental
Health Status on Social Media [27.799032561722893]
Redditのソーシャルメディア投稿から,不安,注意欠陥多動性障害,双極性障害,外傷後ストレス障害,抑うつ,心理的ストレス)の6つの症状を予測する実験を報告する。
変圧器アーキテクチャ(BERT,RoBERTa)とBiLSTMニューラルネットワークを利用したハイブリッド・アンサンブルモデルの性能について検討・比較を行った。
また,特定の精神状態の指標として,どのような特徴が最も重要であるかを検討するために,特徴アブレーション実験を実施している。
論文 参考訳(メタデータ) (2022-12-19T20:31:47Z) - Deep Multi-task Learning for Depression Detection and Prediction in
Longitudinal Data [50.02223091927777]
うつ病は最も多い精神疾患の1つであり、世界中の年齢の何百万人もの人々に影響を与えている。
機械学習技術は、早期介入と治療のためのうつ病の自動検出と予測を可能にしている。
本稿では、この課題に対処するために、2つの補助的タスクでうつ病分類を共同最適化する、新しいディープマルチタスクリカレントニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2020-12-05T05:14:14Z) - Predicting Clinical Diagnosis from Patients Electronic Health Records
Using BERT-based Neural Networks [62.9447303059342]
医療コミュニティにおけるこの問題の重要性を示す。
本稿では,変換器 (BERT) モデルによる2方向表現の分類順序の変更について述べる。
約400万人のユニークな患者訪問からなる、大規模なロシアのEHRデータセットを使用します。
論文 参考訳(メタデータ) (2020-07-15T09:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。