論文の概要: Automatic Evaluation for Mental Health Counseling using LLMs
- arxiv url: http://arxiv.org/abs/2402.11958v1
- Date: Mon, 19 Feb 2024 09:00:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:28:02.478909
- Title: Automatic Evaluation for Mental Health Counseling using LLMs
- Title(参考訳): LLMを用いたメンタルヘルスカウンセリングの自動評価
- Authors: Anqi Li, Yu Lu, Nirui Song, Shuai Zhang, Lizhi Ma, Zhenzhong Lan
- Abstract要約: 自己または第三者のマニュアルレポートに頼ってカウンセリングの質を評価する既存の方法は、主観的バイアスと時間の制限に悩まされている。
本稿では,大規模言語モデル(LLM)を用いてカウンセリング会話における作業アライアンスを評価するための,革新的で効率的な自動アプローチを提案する。
- 参考スコア(独自算出の注目度): 19.71452604279078
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: High-quality psychological counseling is crucial for mental health worldwide,
and timely evaluation is vital for ensuring its effectiveness. However,
obtaining professional evaluation for each counseling session is expensive and
challenging. Existing methods that rely on self or third-party manual reports
to assess the quality of counseling suffer from subjective biases and
limitations of time-consuming.
To address above challenges, this paper proposes an innovative and efficient
automatic approach using large language models (LLMs) to evaluate the working
alliance in counseling conversations. We collected a comprehensive counseling
dataset and conducted multiple third-party evaluations based on therapeutic
relationship theory. Our LLM-based evaluation, combined with our guidelines,
shows high agreement with human evaluations and provides valuable insights into
counseling scripts. This highlights the potential of LLMs as supervisory tools
for psychotherapists. By integrating LLMs into the evaluation process, our
approach offers a cost-effective and dependable means of assessing counseling
quality, enhancing overall effectiveness.
- Abstract(参考訳): 高品質な心理カウンセリングは世界中のメンタルヘルスにとって不可欠であり、タイムリーな評価はその効果を確実にするために不可欠である。
しかし、各カウンセリングセッションの専門的評価を得ることは高価で困難である。
自己または第三者のマニュアルレポートに頼ってカウンセリングの質を評価する既存の方法は、主観的バイアスと時間の制限に悩まされている。
以上の課題に対処するために,大規模言語モデル(LLM)を用いてカウンセリング会話における作業アライアンスを評価する,革新的で効率的な自動アプローチを提案する。
包括的カウンセリングデータセットを収集し,治療関係理論に基づく複数の第三者評価を行った。
我々のLCMに基づく評価とガイドラインは、人間の評価と高い一致を示し、カウンセリングスクリプトに関する貴重な洞察を提供する。
このことは、精神療法士の監督ツールとしてのLLMの可能性を強調している。
評価プロセスにllmを統合することにより,カウンセリング品質を評価するための費用対効果と信頼性が向上し,総合的効果が向上する。
関連論文リスト
- Exploring the Efficacy of Large Language Models in Summarizing Mental
Health Counseling Sessions: A Benchmark Study [17.32433545370711]
セッションの包括的な要約は、メンタルヘルスカウンセリングにおいて効果的な継続を可能にする。
手動要約は、専門家の注意をコアカウンセリングプロセスから逸脱させ、重要な課題を呈する。
本研究は、治療セッションの様々な構成要素を選択的に要約する上で、最先端の大規模言語モデル(LLM)の有効性を評価する。
論文 参考訳(メタデータ) (2024-02-29T11:29:47Z) - LLM Agents for Psychology: A Study on Gamified Assessments [71.08193163042107]
心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。
心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
論文 参考訳(メタデータ) (2024-02-19T18:00:30Z) - A Computational Framework for Behavioral Assessment of LLM Therapists [8.373981505033864]
ChatGPTや他の大規模言語モデル(LLM)は、LLMをセラピストとして活用することへの関心を大いに高めた。
本稿では,セラピストとしてLLMの会話行動を研究するための新しい計算フレームワークBOLTを提案する。
我々は, LLM療法士の行動と, 高品質な人的療法の行動を比較し, 高品質な治療で観察される行動をよりよく反映するために, それらの行動をどのように調節するかを検討した。
論文 参考訳(メタデータ) (2024-01-01T17:32:28Z) - Evaluating the Efficacy of Interactive Language Therapy Based on LLM for
High-Functioning Autistic Adolescent Psychological Counseling [1.1780706927049207]
本研究では,高機能自閉症青年に対する対話型言語治療におけるLarge Language Models(LLMs)の有効性について検討した。
LLMは、従来の心理学的カウンセリング手法を強化する新しい機会を提供する。
論文 参考訳(メタデータ) (2023-11-12T07:55:39Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Consultation Checklists: Standardising the Human Evaluation of Medical
Note Generation [58.54483567073125]
本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。
このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
論文 参考訳(メタデータ) (2022-11-17T10:54:28Z) - "Am I A Good Therapist?" Automated Evaluation Of Psychotherapy Skills
Using Speech And Language Technologies [38.726068038788384]
5000以上のレコードのデータセットを使用して、当社のプラットフォームとそのパフォーマンスを説明します。
本システムでは,セッションのダイナミクスに関する情報を含む包括的フィードバックをセラピストに提供する。
我々は、近い将来、自動精神療法評価ツールの広範な利用が専門家の能力を増強すると確信している。
論文 参考訳(メタデータ) (2021-02-22T18:52:52Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。
我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文 参考訳(メタデータ) (2020-11-17T15:18:38Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳(メタデータ) (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。