論文の概要: Multi-dimensional Assessment and Explainable Feedback for Counselor Responses to Client Resistance in Text-based Counseling with LLMs
- arxiv url: http://arxiv.org/abs/2602.21638v1
- Date: Wed, 25 Feb 2026 07:05:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-26 18:19:16.736861
- Title: Multi-dimensional Assessment and Explainable Feedback for Counselor Responses to Client Resistance in Text-based Counseling with LLMs
- Title(参考訳): LLMを用いたテキストベースカウンセリングにおけるクライアント抵抗応答の多次元評価と説明可能なフィードバック
- Authors: Anqi Li, Ruihan Wang, Zhaoming Chen, Yuqian Chen, Yu Lu, Yi Zhu, Yuan Xie, Zhenzhong Lan,
- Abstract要約: テキストベースの治療において,クライアントの抵抗を標的としたカウンセラー介入の多次元的評価のための包括的パイプラインを提案する。
本稿では,カウンセラー応答を4つの異なるコミュニケーション機構に分解する理論駆動型フレームワークを提案する。
提案手法は,異なる通信機構の品質を効果的に識別できることを示す。
- 参考スコア(独自算出の注目度): 28.919083157390464
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effectively addressing client resistance is a sophisticated clinical skill in psychological counseling, yet practitioners often lack timely and scalable supervisory feedback to refine their approaches. Although current NLP research has examined overall counseling quality and general therapeutic skills, it fails to provide granular evaluations of high-stakes moments where clients exhibit resistance. In this work, we present a comprehensive pipeline for the multi-dimensional evaluation of human counselors' interventions specifically targeting client resistance in text-based therapy. We introduce a theory-driven framework that decomposes counselor responses into four distinct communication mechanisms. Leveraging this framework, we curate and share an expert-annotated dataset of real-world counseling excerpts, pairing counselor-client interactions with professional ratings and explanatory rationales. Using this data, we perform full-parameter instruction tuning on a Llama-3.1-8B-Instruct backbone to model fine-grained evaluative judgments of response quality and generate explanations underlying. Experimental results show that our approach can effectively distinguish the quality of different communication mechanisms (77-81% F1), substantially outperforming GPT-4o and Claude-3.5-Sonnet (45-59% F1). Moreover, the model produces high-quality explanations that closely align with expert references and receive near-ceiling ratings from human experts (2.8-2.9/3.0). A controlled experiment with 43 counselors further confirms that receiving these AI-generated feedback significantly improves counselors' ability to respond effectively to client resistance.
- Abstract(参考訳): 効果的にクライアントの抵抗に対処することは、心理学的なカウンセリングにおいて洗練された臨床スキルであるが、実践者は、アプローチを洗練するための時間的かつスケーラブルな監視フィードバックを欠いていることが多い。
現在のNLP研究は、カウンセリングの質と一般的な治療技術について調査しているが、クライアントが抵抗を示す高い瞬間の詳細な評価は得られていない。
本研究では,テキストベースの治療において,クライアントの抵抗性に着目した多次元的カウンセラー介入の評価のための包括的パイプラインを提案する。
本稿では,カウンセラー応答を4つの異なるコミュニケーション機構に分解する理論駆動型フレームワークを提案する。
このフレームワークを活用して、実世界のカウンセリングの抜粋、専門家による評価と説明的根拠とのペアリングカウンセラー-クライアントインタラクションのエキスパートアノテートデータセットをキュレートし、共有します。
このデータを用いて、Llama-3.1-8B-インストラクションバックボーン上で、応答品質のきめ細かい評価判断をモデル化し、基礎となる説明を生成する。
実験結果から,GPT-4oとClaude-3.5-Sonnet(45-59% F1)を実質的に上回り,異なる通信機構(77-81% F1)の品質を効果的に識別できることが示唆された。
さらに、このモデルは、専門家の参照と密に一致し、人間の専門家(2.8-2.9/3.0)から近点評価を受ける高品質な説明を生成する。
さらに、43人のカウンセラーによる制御実験により、これらのAI生成フィードバックの受信により、カウンセラーがクライアントの抵抗に効果的に対応する能力が大幅に向上することを確認した。
関連論文リスト
- CARE: An Explainable Computational Framework for Assessing Client-Perceived Therapeutic Alliance Using Large Language Models [19.027335814014528]
本稿では,多次元アライアンススコアを自動的に予測し,カウンセリングテキストから解釈可能な有理性を生成するLLMベースのフレームワークであるCAREを提案する。
CAREはCounselingWAIデータセット上に構築されており、9,516人の専門家による合理性によって強化されている。
実験の結果,CAREはLLMよりも優れており,カウンセラー評価とクライアント認識アライアンスとのギャップを大幅に減らすことがわかった。
論文 参考訳(メタデータ) (2026-02-24T07:52:56Z) - MAGneT: Coordinated Multi-Agent Generation of Synthetic Multi-Turn Mental Health Counseling Sessions [58.61680631581921]
合成心理カウンセリングセッション生成のための新しいマルチエージェントフレームワークであるMAGneTを紹介する。
従来の単エージェントアプローチとは異なり、MAGneTは実際のカウンセリングの構造とニュアンスをよりよく捉えている。
実験の結果,MAGneTは既存のカウンセリングセッションの質,多様性,治療的アライメントにおいて有意に優れていた。
論文 参考訳(メタデータ) (2025-09-04T12:59:24Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳(メタデータ) (2025-08-14T16:18:37Z) - Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。
アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。
8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
論文 参考訳(メタデータ) (2025-05-06T08:22:51Z) - MIRROR: Multimodal Cognitive Reframing Therapy for Rolling with Resistance [33.081670638470165]
我々は、非言語的な手がかりを取り入れたマルチモーダルアプローチを提案し、AIセラピストは、クライアントのネガティブな感情状態に応答をより良く整合させることができる。
具体的には、新しい合成データセットであるMirrorを導入し、クライアントのステートメントと対応する顔画像とをペアリングする新しい合成データセットについて紹介する。
その結果、MirrorはAIセラピストの抵抗処理能力を大幅に向上させ、既存のテキストベースのCBTアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2025-04-16T08:44:26Z) - HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。
HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。
本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
論文 参考訳(メタデータ) (2024-12-20T03:26:47Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳(メタデータ) (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。