論文の概要: Towards Interpretable Mental Health Analysis with Large Language Models
- arxiv url: http://arxiv.org/abs/2304.03347v4
- Date: Wed, 11 Oct 2023 08:13:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 13:46:11.565800
- Title: Towards Interpretable Mental Health Analysis with Large Language Models
- Title(参考訳): 大規模言語モデルを用いたメンタルヘルス分析の解釈に向けて
- Authors: Kailai Yang, Shaoxiong Ji, Tianlin Zhang, Qianqian Xie, Ziyan Kuang,
Sophia Ananiadou
- Abstract要約: 大規模言語モデル(LLM)のメンタルヘルス分析と感情的推論能力は,5つのタスクにまたがる11のデータセット上で評価した。
本研究は, 精神保健分析のためのLCMについて, それぞれの意思決定に関する説明を提示するように指示することで, 解釈可能な精神保健分析を行う。
得られた説明の質を評価するために、厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
- 参考スコア(独自算出の注目度): 27.776003210275608
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The latest large language models (LLMs) such as ChatGPT, exhibit strong
capabilities in automated mental health analysis. However, existing relevant
studies bear several limitations, including inadequate evaluations, lack of
prompting strategies, and ignorance of exploring LLMs for explainability. To
bridge these gaps, we comprehensively evaluate the mental health analysis and
emotional reasoning ability of LLMs on 11 datasets across 5 tasks. We explore
the effects of different prompting strategies with unsupervised and distantly
supervised emotional information. Based on these prompts, we explore LLMs for
interpretable mental health analysis by instructing them to generate
explanations for each of their decisions. We convey strict human evaluations to
assess the quality of the generated explanations, leading to a novel dataset
with 163 human-assessed explanations. We benchmark existing automatic
evaluation metrics on this dataset to guide future related works. According to
the results, ChatGPT shows strong in-context learning ability but still has a
significant gap with advanced task-specific methods. Careful prompt engineering
with emotional cues and expert-written few-shot examples can also effectively
improve performance on mental health analysis. In addition, ChatGPT generates
explanations that approach human performance, showing its great potential in
explainable mental health analysis.
- Abstract(参考訳): chatgptのような最新の大規模言語モデル(llm)は、自動メンタルヘルス分析において強力な能力を示している。
しかしながら、既存の研究には、不適切な評価、プロンプト戦略の欠如、説明可能性のためのLSMの探索の無知など、いくつかの制限がある。
これらのギャップを埋めるために,5つのタスクにまたがる11のデータセット上で,llmのメンタルヘルス分析と感情推論能力を総合的に評価した。
異なるプロンプト戦略の効果について,非教師あり,遠隔監督された感情情報を用いて検討する。
これらのプロンプトに基づいて,それぞれの意思決定に説明を与えるように指示することで,精神保健分析の解釈のためのLCMを探索する。
得られた説明の質を評価するために厳密な人的評価を伝達し、163の人的評価による新しいデータセットを作成する。
このデータセットの既存の自動評価メトリクスをベンチマークして、今後の研究をガイドします。
その結果,ChatGPTは文脈内学習能力は高いが,高度なタスク固有手法との差は大きいことがわかった。
感情的な手がかりと専門家が書いた数ショットの例による注意深いプロンプトエンジニアリングは、メンタルヘルス分析のパフォーマンスを効果的に改善する。
加えて、ChatGPTは人間のパフォーマンスに近づき、説明可能なメンタルヘルス分析に大きな可能性を示す説明を生成する。
関連論文リスト
- Exploring the Efficacy of Large Language Models in Summarizing Mental
Health Counseling Sessions: A Benchmark Study [17.32433545370711]
セッションの包括的な要約は、メンタルヘルスカウンセリングにおいて効果的な継続を可能にする。
手動要約は、専門家の注意をコアカウンセリングプロセスから逸脱させ、重要な課題を呈する。
本研究は、治療セッションの様々な構成要素を選択的に要約する上で、最先端の大規模言語モデル(LLM)の有効性を評価する。
論文 参考訳(メタデータ) (2024-02-29T11:29:47Z) - LLM Agents for Psychology: A Study on Gamified Assessments [71.08193163042107]
心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。
心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
論文 参考訳(メタデータ) (2024-02-19T18:00:30Z) - Zero-shot Explainable Mental Health Analysis on Social Media by
incorporating Mental Scales [25.373403057337306]
メンタルヘルス分析における差別的アプローチは、その強い能力で知られているが、解釈性がない。
大きな言語モデル(LLM)に基づくような生成的アプローチは、重いアノテーションを取り除き、説明を提供する可能性を秘めている。
本手法は, 精神的アンケートの出力に基づいて, より厳密な説明が可能である。
論文 参考訳(メタデータ) (2024-02-09T09:44:06Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Empowering Psychotherapy with Large Language Models: Cognitive
Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。
DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。
実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
論文 参考訳(メタデータ) (2023-10-11T02:47:21Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳(メタデータ) (2023-10-10T03:05:44Z) - MentaLLaMA: Interpretable Mental Health Analysis on Social Media with
Large Language Models [28.62967557368565]
ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。
専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。
IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
論文 参考訳(メタデータ) (2023-09-24T06:46:08Z) - Process Knowledge-infused Learning for Clinician-friendly Explanations [14.405002816231477]
言語モデルはソーシャルメディアデータを用いてメンタルヘルスを評価することができる。
彼らは臨床医の診断過程とポストを比較しない。
臨床医が理解できる概念を使って言語モデルのアウトプットを説明するのは難しいです。
論文 参考訳(メタデータ) (2023-06-16T13:08:17Z) - A Simple and Flexible Modeling for Mental Disorder Detection by Learning
from Clinical Questionnaires [0.2580765958706853]
そこで本研究では,テキストから直接意味を抽出し,症状に関連する記述と比較する手法を提案する。
詳細な分析により,提案モデルがドメイン知識の活用,他の精神疾患への伝達,解釈可能な検出結果の提供に有効であることが示唆された。
論文 参考訳(メタデータ) (2023-06-05T15:23:55Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z) - Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in
Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。
我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文 参考訳(メタデータ) (2023-05-24T06:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。