論文の概要: MentaLLaMA: Interpretable Mental Health Analysis on Social Media with
Large Language Models
- arxiv url: http://arxiv.org/abs/2309.13567v3
- Date: Sun, 4 Feb 2024 02:47:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 05:07:29.765301
- Title: MentaLLaMA: Interpretable Mental Health Analysis on Social Media with
Large Language Models
- Title(参考訳): MentaLLaMA:大規模言語モデルを用いたソーシャルメディアのメンタルヘルス分析
- Authors: Kailai Yang, Tianlin Zhang, Ziyan Kuang, Qianqian Xie, Jimin Huang,
Sophia Ananiadou
- Abstract要約: ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。
専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。
IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
- 参考スコア(独自算出の注目度): 28.62967557368565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the development of web technology, social media texts are becoming a
rich source for automatic mental health analysis. As traditional discriminative
methods bear the problem of low interpretability, the recent large language
models have been explored for interpretable mental health analysis on social
media, which aims to provide detailed explanations along with predictions. The
results show that ChatGPT can generate approaching-human explanations for its
correct classifications. However, LLMs still achieve unsatisfactory
classification performance in a zero-shot/few-shot manner. Domain-specific
finetuning is an effective solution, but faces 2 challenges: 1) lack of
high-quality training data. 2) no open-source LLMs for interpretable mental
health analysis were released to lower the finetuning cost. To alleviate these
problems, we build the first multi-task and multi-source interpretable mental
health instruction (IMHI) dataset on social media, with 105K data samples. The
raw social media data are collected from 10 existing sources covering 8 mental
health analysis tasks. We use expert-written few-shot prompts and collected
labels to prompt ChatGPT and obtain explanations from its responses. To ensure
the reliability of the explanations, we perform strict automatic and human
evaluations on the correctness, consistency, and quality of generated data.
Based on the IMHI dataset and LLaMA2 foundation models, we train MentalLLaMA,
the first open-source LLM series for interpretable mental health analysis with
instruction-following capability. We also evaluate the performance of
MentalLLaMA on the IMHI evaluation benchmark with 10 test sets, where their
correctness for making predictions and the quality of explanations are
examined. The results show that MentalLLaMA approaches state-of-the-art
discriminative methods in correctness and generates high-quality explanations.
- Abstract(参考訳): ウェブ技術の発展に伴い、ソーシャルメディアのテキストはメンタルヘルス分析の豊富な情報源になりつつある。
従来の差別的手法が低い解釈可能性の問題に対処するため、近年の大規模言語モデルは、ソーシャルメディア上でのメンタルヘルス分析の解釈のために研究されており、予測とともに詳細な説明を提供することを目的としている。
その結果、ChatGPTは正しい分類のための接近する人間による説明を生成できることがわかった。
しかし、llmsはゼロショット/フェウショット方式で分類性能が不十分である。
ドメイン固有の微調整は効果的なソリューションであるが、2つの課題に直面している。
1)高品質なトレーニングデータがない。
2)微調整コストを下げるために,解釈可能なメンタルヘルス分析のためのオープンソースLCMはリリースされなかった。
これらの問題を緩和するために、ソーシャルメディア上で105Kのデータサンプルを用いて、最初のマルチタスクおよびマルチソースのメンタルヘルスインストラクション(IMHI)データセットを構築した。
生のソーシャルメディアデータは、8つのメンタルヘルス分析タスクをカバーする10の既存ソースから収集される。
専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。
説明の信頼性を確保するため,生成データの正確性,一貫性,品質について,厳密な自動評価を行う。
IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、インストラクションフォロー機能を備えたメンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
また,imhi評価ベンチマークにおけるmentalllamaの性能を10のテストセットで評価し,予測の正確性と説明の質について検討した。
以上の結果から,MentalLLaMAは最先端の判別手法に精度でアプローチし,高品質な説明を生成することがわかった。
関連論文リスト
- Zero-shot Explainable Mental Health Analysis on Social Media by
incorporating Mental Scales [25.373403057337306]
メンタルヘルス分析における差別的アプローチは、その強い能力で知られているが、解釈性がない。
大きな言語モデル(LLM)に基づくような生成的アプローチは、重いアノテーションを取り除き、説明を提供する可能性を秘めている。
本手法は, 精神的アンケートの出力に基づいて, より厳密な説明が可能である。
論文 参考訳(メタデータ) (2024-02-09T09:44:06Z) - InfoLossQA: Characterizing and Recovering Information Loss in Text
Simplification [62.61201551494709]
本研究は, 簡易化による情報損失を問合せ・問合せ形式で特徴づけ, 回復する枠組みを提案する。
QAペアは、読者がテキストの知識を深めるのに役立つように設計されている。
論文 参考訳(メタデータ) (2024-01-29T19:00:01Z) - Explainable Depression Symptom Detection in Social Media [2.433983268807517]
本稿では, トランスフォーマーアーキテクチャを用いて, ユーザの文章中の抑うつ症状マーカーの出現を検知し, 説明する。
我々の自然言語による説明により、臨床医はバリデーションされた症状に基づいてモデルの判断を解釈できる。
論文 参考訳(メタデータ) (2023-10-20T17:05:27Z) - Bias and Fairness in Large Language Models: A Survey [76.65471160523444]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。
まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。
次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文 参考訳(メタデータ) (2023-09-02T00:32:55Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。
その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。
本調査では,これらのアライメント技術の概要について概観する。
論文 参考訳(メタデータ) (2023-07-24T17:44:58Z) - Process Knowledge-infused Learning for Clinician-friendly Explanations [14.405002816231477]
言語モデルはソーシャルメディアデータを用いてメンタルヘルスを評価することができる。
彼らは臨床医の診断過程とポストを比較しない。
臨床医が理解できる概念を使って言語モデルのアウトプットを説明するのは難しいです。
論文 参考訳(メタデータ) (2023-06-16T13:08:17Z) - Towards Interpretable Mental Health Analysis with Large Language Models [27.776003210275608]
大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。
本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。
得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
論文 参考訳(メタデータ) (2023-04-06T19:53:59Z) - Auditing Algorithmic Fairness in Machine Learning for Health with
Severity-Based LOGAN [70.76142503046782]
臨床予測タスクにおいて,局所バイアスを自動検出するSLOGANを用いて,機械学習ベースの医療ツールを補足することを提案する。
LOGANは、患者の重症度と過去の医療史における集団バイアス検出を文脈化することにより、既存のツールであるLOcal Group biAs detectioNに適応する。
SLOGANは, クラスタリング品質を維持しながら, 患者群の75%以上において, SLOGANよりも高い公平性を示す。
論文 参考訳(メタデータ) (2022-11-16T08:04:12Z) - Explainable Causal Analysis of Mental Health on Social Media Data [0.0]
ソーシャルメディア上でのメンタルヘルス問題に対するマルチクラス因果分類は、誤った予測の大きな課題である。
データセットにおける因果的説明/不適切な人間アノテーション推論の不整合性。
本研究では,マルチクラス因果分類における不整合の原因を明らかにする。
論文 参考訳(メタデータ) (2022-10-16T03:34:47Z) - MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。
我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文 参考訳(メタデータ) (2020-11-17T15:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。