論文の概要: Towards Interpretable Mental Health Analysis with ChatGPT
- arxiv url: http://arxiv.org/abs/2304.03347v2
- Date: Tue, 16 May 2023 08:32:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 18:28:16.919213
- Title: Towards Interpretable Mental Health Analysis with ChatGPT
- Title（参考訳）: ChatGPTを用いたメンタルヘルス分析の解釈に向けて
- Authors: Kailai Yang, Shaoxiong Ji, Tianlin Zhang, Qianqian Xie, Ziyan Kuang,
Sophia Ananiadou
- Abstract要約: 5つのタスクからなる11のデータセットにおいて,ChatGPTのメンタルヘルス分析と感情的推論能力を評価した。
ドメインエキスパートが設計したアノテーションプロトコルを用いて、ChatGPTとGPT-3によって生成された説明の質を評価するために人的評価を伝達する。
ChatGPTは、人間のパフォーマンスに関する説明やアプローチの人間評価における全ての基準において、GPT-3を著しく上回っている。
- 参考スコア（独自算出の注目度）: 16.650422569654737
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated mental health analysis shows great potential for enhancing the
efficiency and accessibility of mental health care, with recent methods using
pre-trained language models (PLMs) and incorporated emotional information. The
latest large language models (LLMs), such as ChatGPT, exhibit dramatic
capabilities on diverse natural language processing tasks. However, existing
studies on ChatGPT for mental health analysis bear limitations in inadequate
evaluations, ignorance of emotional information, and lack of explainability. To
bridge these gaps, we comprehensively evaluate the mental health analysis and
emotional reasoning ability of ChatGPT on 11 datasets across 5 tasks, and
analyze the effects of various emotion-based prompting strategies. Based on
these prompts, we further explore LLMs for interpretable mental health analysis
by instructing them to also generate explanations for each of their decisions.
With an annotation protocol designed by domain experts, we convey human
evaluations to assess the quality of explanations generated by ChatGPT and
GPT-3. The annotated corpus will be released for future research. Experimental
results show that ChatGPT outperforms traditional neural network-based methods
but still has a significant gap with advanced task-specific methods. Prompt
engineering with emotional cues can be effective in improving performance on
mental health analysis but suffers from a lack of robustness and inaccurate
reasoning. In addition, ChatGPT significantly outperforms GPT-3 on all criteria
in human evaluations of the explanations and approaches to human performance,
showing its great potential in explainable mental health analysis.
- Abstract（参考訳）: メンタルヘルス分析の自動化は、プレトレーニング言語モデル(plm)とインクルード感情情報を用いて、メンタルヘルスケアの効率とアクセシビリティを向上させる大きな可能性を示している。
ChatGPTのような最新の大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに劇的な能力を示す。
しかし、メンタルヘルス分析のためのChatGPTの研究は、不適切な評価、感情情報の無知、説明可能性の欠如に限界がある。
これらのギャップを埋めるために,5つの課題にまたがる11のデータセット上で,chatgptのメンタルヘルス分析と感情推論能力を総合的に評価し,様々な感情に基づく促進戦略の効果を分析した。
これらのプロンプトに基づき,それぞれの意思決定に関する説明も生成するように指示することで,精神保健分析の解釈のためのLCMをさらに探求する。
ドメインの専門家が設計したアノテーションプロトコルを用いて,chatgpt と gpt-3 が生成する説明の質を評価するための評価を行う。
注釈付きコーパスは今後の研究のためにリリースされる予定だ。
実験の結果、ChatGPTは従来のニューラルネットワークベースの手法よりも優れているが、高度なタスク固有の手法と大きな差があることがわかった。
感情的な手がかりを持つプロンプトエンジニアリングは、メンタルヘルス分析のパフォーマンス向上に有効であるが、堅牢性の欠如と不正確な推論に悩まされている。
加えて、ChatGPTは、人間のパフォーマンスに関する説明やアプローチの人間評価における全ての基準において、GPT-3を著しく上回り、説明可能な精神保健分析においてその大きな可能性を示している。
関連論文リスト
- SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques [9.146311285410631]
メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。
この研究は、最先端のAI技術を通じて、多様な、アクセス可能な、スティグマのない、パーソナライズされた、リアルタイムのメンタルヘルスサポートを提供することを目的としている。
論文 参考訳（メタデータ） (2024-10-17T22:04:32Z) - MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media [31.752563319585196]
ブラックボックスモデルはタスクを切り替えるときに柔軟性がなく、その結果は説明に欠ける。
大きな言語モデル(LLM)の台頭とともに、その柔軟性はこの分野に新しいアプローチを導入した。
本稿では,9Kサンプルからなる中国初のマルチタスク・ソーシャル・メディア解釈型メンタルヘルス・インストラクション・データセットを提案する。
また,中国ソーシャルメディアをターゲットとしたメンタルヘルス分析を目的とした,初のオープンソースLCMであるMentalGLMシリーズモデルを提案する。
論文 参考訳（メタデータ） (2024-10-14T09:29:27Z) - Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。
本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。
本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-25T16:09:08Z) - LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。
得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文 参考訳（メタデータ） (2024-06-09T09:03:11Z) - PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models [34.09419351705938]
本稿では,大規模言語モデル(LLM)を評価するためのメンタルヘルス関連タスクの包括的スイートであるPsyEvalについて述べる。
この包括的枠組みは、メンタルヘルス関連のタスクの独特な課題と複雑さを徹底的に評価するために設計されている。
論文 参考訳（メタデータ） (2023-11-15T18:32:27Z) - Empowering Psychotherapy with Large Language Models: Cognitive
Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。
DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。
実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
論文 参考訳（メタデータ） (2023-10-11T02:47:21Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳（メタデータ） (2023-10-10T03:05:44Z) - MentaLLaMA: Interpretable Mental Health Analysis on Social Media with
Large Language Models [28.62967557368565]
ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。
専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。
IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
論文 参考訳（メタデータ） (2023-09-24T06:46:08Z) - A Simple and Flexible Modeling for Mental Disorder Detection by Learning
from Clinical Questionnaires [0.2580765958706853]
そこで本研究では,テキストから直接意味を抽出し,症状に関連する記述と比較する手法を提案する。
詳細な分析により,提案モデルがドメイン知識の活用,他の精神疾患への伝達,解釈可能な検出結果の提供に有効であることが示唆された。
論文 参考訳（メタデータ） (2023-06-05T15:23:55Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳（メタデータ） (2023-05-24T10:45:25Z) - Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in
Large Language Models [82.50173296858377]
多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。
我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
論文 参考訳（メタデータ） (2023-05-24T06:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。