論文の概要: A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health
- arxiv url: http://arxiv.org/abs/2403.09705v1
- Date: Fri, 8 Mar 2024 23:46:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-25 07:56:27.289611
- Title: A Novel Nuanced Conversation Evaluation Framework for Large Language Models in Mental Health
- Title(参考訳): メンタルヘルスにおける大規模言語モデルのためのNuanced Conversation Evaluation Framework
- Authors: Alexander Marrapese, Basem Suleiman, Imdad Ullah, Juno Kim,
- Abstract要約: 大規模言語モデル(LLM)のニュアンス会話能力を評価するための新しい枠組みを提案する。
そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。
GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
- 参考スコア(独自算出の注目度): 42.711913023646915
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Understanding the conversation abilities of Large Language Models (LLMs) can help lead to its more cautious and appropriate deployment. This is especially important for safety-critical domains like mental health, where someone's life may depend on the exact wording of a response to an urgent question. In this paper, we propose a novel framework for evaluating the nuanced conversation abilities of LLMs. Within it, we develop a series of quantitative metrics developed from literature on using psychotherapy conversation analysis literature. While we ensure that our framework and metrics are transferable by researchers to relevant adjacent domains, we apply them to the mental health field. We use our framework to evaluate several popular frontier LLMs, including some GPT and Llama models, through a verified mental health dataset. Our results show that GPT4 Turbo can perform significantly more similarly to verified therapists than other selected LLMs. We conduct additional analysis to examine how LLM conversation performance varies across specific mental health topics. Our results indicate that GPT4 Turbo performs well in achieving high correlation with verified therapists in particular topics such as Parenting and Relationships. We believe our contributions will help researchers develop better LLMs that, in turn, will more positively support people's lives.
- Abstract(参考訳): LLM(Large Language Models)の会話能力を理解することは、より慎重で適切なデプロイメントにつながる。
これは心の健康のような安全に重要な領域において特に重要であり、誰かの人生は緊急の質問に対する反応の正確な言葉に依存するかもしれない。
本稿では,LLMのニュアンスな会話能力を評価するための新しい枠組みを提案する。
そこで我々は,心理療法の会話分析文献を用いた文献から開発された,一連の定量的指標を開発した。
私たちは、我々のフレームワークとメトリクスが、研究者によって関連するドメインに転送可能であることを保証しますが、それらをメンタルヘルス分野に適用します。
GPTモデルやLlamaモデルを含むいくつかの人気のあるフロンティアLCMを、検証されたメンタルヘルスデータセットを通じて評価するために、当社のフレームワークを使用します。
以上の結果から, GPT4 Turbo は他の選択した LLM と比較すると, バリデーションセラピストと非常によく似た性能を示すことが示唆された。
我々は、特定のメンタルヘルストピック間でLLMの会話パフォーマンスがどのように異なるかを調べるために、さらなる分析を行う。
以上の結果から, GPT4 Turbo は, 保護や関係性といった特定のトピックにおいて, 評価されたセラピストと高い相関性が得られることが示唆された。
我々の貢献は、研究者がより良いLCMを開発するのに役立つと信じており、それによって人々の生活をより肯定的に支援できると信じています。
関連論文リスト
- Aligning Large Language Models for Enhancing Psychiatric Interviews through Symptom Delineation and Summarization [13.77580842967173]
本研究は,精神科面接に大規模言語モデルを適用するという新たな分野に寄与する。
我々は、北朝鮮の亡命者からのカウンセリングデータを、外傷的な出来事や精神的な健康問題で分析する。
実験結果から, LLM は症状記述タスクと要約タスクの両方において高い性能が得られることが示された。
論文 参考訳(メタデータ) (2024-03-26T06:50:04Z) - A Computational Framework for Behavioral Assessment of LLM Therapists [8.373981505033864]
ChatGPTや他の大規模言語モデル(LLM)は、LLMをセラピストとして活用することへの関心を大いに高めた。
本稿では,セラピストとしてLLMの会話行動を研究するための新しい計算フレームワークBOLTを提案する。
我々は, LLM療法士の行動と, 高品質な人的療法の行動を比較し, 高品質な治療で観察される行動をよりよく反映するために, それらの行動をどのように調節するかを検討した。
論文 参考訳(メタデータ) (2024-01-01T17:32:28Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in
Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。
アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。
この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
論文 参考訳(メタデータ) (2023-11-14T21:46:27Z) - Evaluating the Efficacy of Interactive Language Therapy Based on LLM for
High-Functioning Autistic Adolescent Psychological Counseling [1.1780706927049207]
本研究では,高機能自閉症青年に対する対話型言語治療におけるLarge Language Models(LLMs)の有効性について検討した。
LLMは、従来の心理学的カウンセリング手法を強化する新しい機会を提供する。
論文 参考訳(メタデータ) (2023-11-12T07:55:39Z) - PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for
Personality Detection [50.66968526809069]
PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。
実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2023-10-31T08:23:33Z) - Harnessing Large Language Models' Empathetic Response Generation
Capabilities for Online Mental Health Counselling Support [1.9336815376402723]
大規模言語モデル(LLM)は、様々な情報検索や推論タスクで顕著なパフォーマンスを示している。
本研究は,メンタルヘルスカウンセリング環境下での会話において,共感反応を誘発するLLMの能力について検討した。
我々は、ジェネレーティブ・プレトレーニング(GPT)のバージョン3.5とバージョン4、Vicuna FastChat-T5、Pathways Language Model(PaLM)バージョン2、Falcon-7B-Instructの5つのLCMを選択した。
論文 参考訳(メタデータ) (2023-10-12T03:33:06Z) - Who is ChatGPT? Benchmarking LLMs' Psychological Portrayal Using
PsychoBench [83.41621219298489]
大規模言語モデル(LLM)の多様な心理学的側面を評価するためのフレームワーク「サイコベンチ」を提案する。
サイコベンチはこれらの尺度を、性格特性、対人関係、モチベーションテスト、感情能力の4つのカテゴリーに分類する。
我々は、安全アライメントプロトコルをバイパスし、LLMの本質的な性質をテストするためにジェイルブレイクアプローチを採用している。
論文 参考訳(メタデータ) (2023-10-02T17:46:09Z) - Mental-LLM: Leveraging Large Language Models for Mental Health
Prediction via Online Text Data [42.965788205842465]
本稿では,様々なメンタルヘルス予測タスクにおける多言語モデル(LLM)の包括的評価について述べる。
ゼロショットプロンプト、少数ショットプロンプト、微調整を含む実験を行う。
我々の最も精巧なモデルであるMental-AlpacaとMental-FLAN-T5は、バランスの取れた精度でGPT-3.5を10.9%上回り、GPT-4(250倍、150倍)を4.8%上回りました。
論文 参考訳(メタデータ) (2023-07-26T06:00:50Z) - Revisiting the Reliability of Psychological Scales on Large Language
Models [66.31055885857062]
本研究では,人格評価を大規模言語モデル(LLM)に適用する際の信頼性について検討する。
LLMのパーソナライズに光を当てることで、この分野での今後の探索の道を開くことに努める。
論文 参考訳(メタデータ) (2023-05-31T15:03:28Z) - Sentiment Analysis in the Era of Large Language Models: A Reality Check [69.97942065617664]
本稿では,大規模言語モデル(LLM)の様々な感情分析タスクの実行能力について検討する。
26のデータセット上の13のタスクのパフォーマンスを評価し、ドメイン固有のデータセットに基づいて訓練された小言語モデル(SLM)と比較した。
論文 参考訳(メタデータ) (2023-05-24T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。