Fugu-MT 論文翻訳(概要): Automatic Evaluation for Mental Health Counseling using LLMs

論文の概要: Automatic Evaluation for Mental Health Counseling using LLMs

arxiv url: http://arxiv.org/abs/2402.11958v1
Date: Mon, 19 Feb 2024 09:00:10 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 17:28:02.478909
Title: Automatic Evaluation for Mental Health Counseling using LLMs
Title（参考訳）: LLMを用いたメンタルヘルスカウンセリングの自動評価
Authors: Anqi Li, Yu Lu, Nirui Song, Shuai Zhang, Lizhi Ma, Zhenzhong Lan
Abstract要約: 自己または第三者のマニュアルレポートに頼ってカウンセリングの質を評価する既存の方法は、主観的バイアスと時間の制限に悩まされている。本稿では,大規模言語モデル(LLM)を用いてカウンセリング会話における作業アライアンスを評価するための,革新的で効率的な自動アプローチを提案する。
参考スコア（独自算出の注目度）: 19.71452604279078
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: High-quality psychological counseling is crucial for mental health worldwide, and timely evaluation is vital for ensuring its effectiveness. However, obtaining professional evaluation for each counseling session is expensive and challenging. Existing methods that rely on self or third-party manual reports to assess the quality of counseling suffer from subjective biases and limitations of time-consuming. To address above challenges, this paper proposes an innovative and efficient automatic approach using large language models (LLMs) to evaluate the working alliance in counseling conversations. We collected a comprehensive counseling dataset and conducted multiple third-party evaluations based on therapeutic relationship theory. Our LLM-based evaluation, combined with our guidelines, shows high agreement with human evaluations and provides valuable insights into counseling scripts. This highlights the potential of LLMs as supervisory tools for psychotherapists. By integrating LLMs into the evaluation process, our approach offers a cost-effective and dependable means of assessing counseling quality, enhancing overall effectiveness.
Abstract（参考訳）: 高品質な心理カウンセリングは世界中のメンタルヘルスにとって不可欠であり、タイムリーな評価はその効果を確実にするために不可欠である。しかし、各カウンセリングセッションの専門的評価を得ることは高価で困難である。自己または第三者のマニュアルレポートに頼ってカウンセリングの質を評価する既存の方法は、主観的バイアスと時間の制限に悩まされている。以上の課題に対処するために,大規模言語モデル(LLM)を用いてカウンセリング会話における作業アライアンスを評価する,革新的で効率的な自動アプローチを提案する。包括的カウンセリングデータセットを収集し,治療関係理論に基づく複数の第三者評価を行った。我々のLCMに基づく評価とガイドラインは、人間の評価と高い一致を示し、カウンセリングスクリプトに関する貴重な洞察を提供する。このことは、精神療法士の監督ツールとしてのLLMの可能性を強調している。評価プロセスにllmを統合することにより,カウンセリング品質を評価するための費用対効果と信頼性が向上し,総合的効果が向上する。

関連論文リスト

Trust Modeling in Counseling Conversations: A Benchmark Study [30.22979233242685]
患者とセラピストとの治療結合は、直接的に効果的なメンタルヘルスカウンセリングを促進する。私たちの信頼の定義には、患者が自己表現する意思とオープン性が含まれます。我々の研究は、治療相互作用における信頼の進化の展開を目的としている。
論文参考訳（メタデータ） (2025-01-06T15:02:30Z)
Script-Strategy Aligned Generation: Aligning LLMs with Expert-Crafted Dialogue Scripts and Therapeutic Strategies for Psychotherapy [17.07905574770501]
現在のシステムは厳格で規則に基づく設計に依存しており、治療的会話を導くために専門家が作成したスクリプトに大きく依存している。大規模言語モデル(LLM)の最近の進歩は、より柔軟な相互作用の可能性を提供するが、制御性と透明性は欠如している。完全にスクリプト化されたコンテンツへの依存を減らすフレキシブルなアライメントアプローチである Script-Strategy Aligned Generation (SSAG)' を提案する。
論文参考訳（メタデータ） (2024-11-11T05:14:14Z)
CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy [67.23830698947637]
認知行動療法(CBT)支援の体系的評価のための新しいベンチマークであるCBT-BENCHを提案する。我々は, CBT-BENCHにおける3段階の課題を含む: I: 基本的CBT知識獲得, 複数選択質問のタスク; II: 認知的モデル理解, 認知的歪み分類, 主根的信念分類, きめ細かい中核信念分類のタスク; III: 治療的応答生成, CBTセラピーセッションにおける患者音声に対する応答生成のタスク。実験結果から,LLMはCBT知識のリサイティングに優れるが,複雑な実世界のシナリオでは不十分であることが示唆された。
論文参考訳（メタデータ） (2024-10-17T04:52:57Z)
Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions [12.455050661682051]
本稿では,カウンセラーとクライアントの相互作用をシミュレートするためのロールプレイングを通じて,2つの大きな言語モデル(LLM)を利用するフレームワークを提案する。我々のフレームワークは2つのLCMで構成され、1つは特定の実生活のユーザープロファイルを備えたクライアントとして機能し、もう1つは経験豊富なカウンセラーとして機能する。
論文参考訳（メタデータ） (2024-08-28T13:29:59Z)
Roleplay-doh: Enabling Domain-Experts to Create LLM-simulated Patients via Eliciting and Adhering to Principles [58.82161879559716]
ドメインエキスパートから定性的なフィードバックを引き出す新しい人間-LLMコラボレーションパイプラインであるRoleplay-dohを開発した。このパイプラインを適用して、シニアメンタルヘルスサポーターが、シミュレートされた実践パートナのためにカスタマイズされたAI患者を作成できるようにします。
論文参考訳（メタデータ） (2024-07-01T00:43:02Z)
LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
論文参考訳（メタデータ） (2024-06-09T09:03:11Z)
CPsyCoun: A Report-based Multi-turn Dialogue Reconstruction and Evaluation Framework for Chinese Psychological Counseling [27.193022503592342]
中国における心理カウンセリングのための多面的対話再構築・評価フレームワークCPsyCounを提案する。心理カウンセリングレポートを完全に活用するために、高品質な対話を構築するための2段階のアプローチが考案された。マルチターン心理相談の効果的な自動評価のための総合評価ベンチマークを開発した。
論文参考訳（メタデータ） (2024-05-26T05:18:00Z)
COMPASS: Computational Mapping of Patient-Therapist Alliance Strategies with Language Modeling [14.04866656172336]
心理療法セッションで使用される自然言語から治療作業同盟を推定するための新しい枠組みを提案する。提案手法は,高度大規模言語モデル(LLM)を用いて心理療法セッションの転写を解析し,それらをワーキングアライアンスインベントリにおけるステートメントの分散表現と比較する。
論文参考訳（メタデータ） (2024-02-22T16:56:44Z)
K-ESConv: Knowledge Injection for Emotional Support Dialogue Systems via Prompt Learning [83.19215082550163]
K-ESConvは、感情支援対話システムのための、新しい学習に基づく知識注入手法である。本研究では,情緒的支援データセットESConvを用いて,外部の専門的情緒的Q&Aフォーラムから知識を抽出し,組み込んだモデルを評価した。
論文参考訳（メタデータ） (2023-12-16T08:10:10Z)
Rethinking the Evaluation for Conversational Recommendation in the Era of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。 LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文参考訳（メタデータ） (2023-05-22T15:12:43Z)
MET: Multimodal Perception of Engagement for Telehealth [52.54282887530756]
ビデオから人間のエンゲージメントレベルを知覚する学習ベースアルゴリズムMETを提案する。我々はメンタルヘルス患者のエンゲージメント検出のための新しいデータセットMEDICAをリリースした。
論文参考訳（メタデータ） (2020-11-17T15:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。