論文の概要: On the Evaluations of ChatGPT and Emotion-enhanced Prompting for Mental Health Analysis

• arxiv url: http://arxiv.org/abs/2304.03347v1
• Date: Thu, 6 Apr 2023 19:53:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 13:47:52.210795
• Title: On the Evaluations of ChatGPT and Emotion-enhanced Prompting for Mental Health Analysis
• Title（参考訳）: メンタルヘルス分析におけるChatGPTと感情増強プロンプトの評価について
• Authors: Kailai Yang, Shaoxiong Ji, Tianlin Zhang, Qianqian Xie, Sophia Ananiadou
• Abstract要約: 本研究は,5つのタスクにまたがる11のデータセットにおいて,ChatGPTのメンタルヘルス分析と感情的推論能力を総合的に評価した。 感情的な手がかりを伴う異なる促進戦略がChatGPTのメンタルヘルス分析能力と説明可能性に与える影響を実証的に分析した。 感情的な手がかりを持つプロンプトエンジニアリングは、メンタルヘルス分析におけるパフォーマンスを改善するのに有効であるが、適切な感情注入方法を必要とする。
• 参考スコア（独自算出の注目度）: 17.86333848813444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated mental health analysis shows great potential for enhancing the efficiency and accessibility of mental health care, whereas the recent dominant methods utilized pre-trained language models (PLMs) as the backbone and incorporated emotional information. The latest large language models (LLMs), such as ChatGPT, exhibit dramatic capabilities on diverse natural language processing tasks. However, existing studies on ChatGPT's zero-shot performance for mental health analysis have limitations in inadequate evaluation, utilization of emotional information, and explainability of methods. In this work, we comprehensively evaluate the mental health analysis and emotional reasoning ability of ChatGPT on 11 datasets across 5 tasks, including binary and multi-class mental health condition detection, cause/factor detection of mental health conditions, emotion recognition in conversations, and causal emotion entailment. We empirically analyze the impact of different prompting strategies with emotional cues on ChatGPT's mental health analysis ability and explainability. Experimental results show that ChatGPT outperforms traditional neural network methods but still has a significant gap with advanced task-specific methods. The qualitative analysis shows its potential in explainability compared with advanced black-box methods but also limitations on robustness and inaccurate reasoning. Prompt engineering with emotional cues is found to be effective in improving its performance on mental health analysis but requires the proper way of emotion infusion.
• Abstract（参考訳）: メンタルヘルス分析の自動化は、精神医療の効率性とアクセシビリティを高める大きな可能性を示しているが、最近の支配的な手法では、バックボーンとしてプレトレーニング言語モデル(PLM)を使用し、感情情報を組み込んだ。 ChatGPTのような最新の大規模言語モデル(LLM)は、さまざまな自然言語処理タスクに劇的な能力を示す。 しかしながら、chatgptの精神健康分析におけるゼロショット性能に関する既存の研究は、不適切な評価、感情情報の活用、方法の説明可能性に限界がある。 本研究では,ChatGPTのメンタルヘルス分析と感情推論能力について,2段階,多段階のメンタルヘルス状態検出,メンタルヘルス状態の要因・要因検出,会話における感情認識,因果的感情付与を含む5つのタスクからなる11のデータセットで総合的に評価した。 chatgptのメンタルヘルス分析能力と説明可能性に及ぼす感情的手がかりと異なるプロンプト戦略の影響を実証的に分析した。 実験結果から、ChatGPTは従来のニューラルネットワーク手法より優れているが、高度なタスク固有手法と大きな差があることがわかった。 定性的な分析は、高度なブラックボックス法と比較して説明可能性の可能性を示しているが、ロバスト性や不正確な推論の制限も示している。 感情的な手がかりを持つプロンプトエンジニアリングは、メンタルヘルス分析におけるパフォーマンスを改善するのに有効であるが、適切な感情注入方法を必要とする。

関連論文リスト

• SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques [9.146311285410631]
  メンタルヘルスの問題は個人の日常生活に大きな影響を及ぼすが、多くの人は利用可能なオンラインリソースでも必要な支援を受けていない。 この研究は、最先端のAI技術を通じて、多様な、アクセス可能な、スティグマのない、パーソナライズされた、リアルタイムのメンタルヘルスサポートを提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-17T22:04:32Z)
• MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media [31.752563319585196]
  ブラックボックスモデルはタスクを切り替えるときに柔軟性がなく、その結果は説明に欠ける。 大きな言語モデル(LLM)の台頭とともに、その柔軟性はこの分野に新しいアプローチを導入した。 本稿では,9Kサンプルからなる中国初のマルチタスク・ソーシャル・メディア解釈型メンタルヘルス・インストラクション・データセットを提案する。 また,中国ソーシャルメディアをターゲットとしたメンタルヘルス分析を目的とした,初のオープンソースLCMであるMentalGLMシリーズモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:29:27Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• PsyEval: A Suite of Mental Health Related Tasks for Evaluating Large Language Models [34.09419351705938]
  本稿では,大規模言語モデル(LLM)を評価するためのメンタルヘルス関連タスクの包括的スイートであるPsyEvalについて述べる。 この包括的枠組みは、メンタルヘルス関連のタスクの独特な課題と複雑さを徹底的に評価するために設計されている。
  論文  参考訳（メタデータ） (2023-11-15T18:32:27Z)
• Empowering Psychotherapy with Large Language Models: Cognitive Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
  本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。 DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。 実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
  論文  参考訳（メタデータ） (2023-10-11T02:47:21Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• A Simple and Flexible Modeling for Mental Disorder Detection by Learning from Clinical Questionnaires [0.2580765958706853]
  そこで本研究では,テキストから直接意味を抽出し,症状に関連する記述と比較する手法を提案する。 詳細な分析により,提案モデルがドメイン知識の活用,他の精神疾患への伝達,解釈可能な検出結果の提供に有効であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-05T15:23:55Z)
• Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
  本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。 26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
  論文  参考訳（メタデータ） (2023-05-24T10:45:25Z)
• Clever Hans or Neural Theory of Mind? Stress Testing Social Reasoning in Large Language Models [82.50173296858377]
  多くの逸話例は、ChatGPTやGPT-4のような新しい大規模言語モデル(LLM)が、N-ToM(Neural Theory-of-Mind)を示すことを示唆するために使用された。 我々は,LLMsのN-ToMの範囲を6つのタスクに対して広範囲に評価することにより検討し,LLMsが特定のN-ToM能力を示す一方で,この挙動は堅牢性には程遠いことを見出した。
  論文  参考訳（メタデータ） (2023-05-24T06:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。