論文の概要: Can You Share Your Story? Modeling Clients' Metacognition and Openness for LLM Therapist Evaluation
- arxiv url: http://arxiv.org/abs/2507.19643v1
- Date: Fri, 25 Jul 2025 19:32:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:55.876235
- Title: Can You Share Your Story? Modeling Clients' Metacognition and Openness for LLM Therapist Evaluation
- Title（参考訳）: 物語を共有できるか? LLMセラピスト評価のためのクライアントのメタ認知とオープンネスをモデル化する
- Authors: Minju Kim, Dongje Yoo, Yeonjun Hwang, Minseok Kang, Namyoung Kim, Minju Gwak, Beong-woo Kwak, Hyungjoo Chae, Harim Kim, Yunjoong Lee, Min Hee Kim, Dayi Jung, Kyong-Mee Chung, Jinyoung Yeo,
- Abstract要約: 既存の評価方法は、内部状態をセラピストに明確に開示するクライアントシミュレータに依存している。
我々は,制御可能で現実的なクライアントシミュレータを備えた新しい評価フレームワークであるMindVoyagerを紹介する。
さらに,LLMセラピストの探究能力を評価するための評価指標を,クライアントの信念や思考を徹底的に理解することで導入する。
- 参考スコア（独自算出の注目度）: 8.701508400127342
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Understanding clients' thoughts and beliefs is fundamental in counseling, yet current evaluations of LLM therapists often fail to assess this ability. Existing evaluation methods rely on client simulators that clearly disclose internal states to the therapist, making it difficult to determine whether an LLM therapist can uncover unexpressed perspectives. To address this limitation, we introduce MindVoyager, a novel evaluation framework featuring a controllable and realistic client simulator which dynamically adapts itself based on the ongoing counseling session, offering a more realistic and challenging evaluation environment. We further introduce evaluation metrics that assess the exploration ability of LLM therapists by measuring their thorough understanding of client's beliefs and thoughts.
- Abstract（参考訳）: クライアントの考えや信念を理解することはカウンセリングの基本であるが、LLMセラピストの現在の評価は、しばしばこの能力を評価するのに失敗する。
既存の評価手法は、内部状態をセラピストに明確に開示するクライアントシミュレータに依存しており、LLMセラピストが表現されていない視点を明らかにすることは困難である。
この制限に対処するため、我々はMindVoyagerを紹介した。MindVoyagerは制御可能で現実的なクライアントシミュレータを備え、進行中のカウンセリングセッションに基づいて動的に適応し、より現実的で挑戦的な評価環境を提供する。
さらに,LLMセラピストの探究能力を評価するための評価指標を,クライアントの信念や思考を徹底的に理解することで導入する。
関連論文リスト
- Reframe Your Life Story: Interactive Narrative Therapist and Innovative Moment Assessment with Large Language Models [92.93521294357058]
物語療法は、個人が問題のある人生の物語を代替品の力に変えるのに役立つ。
現在のアプローチでは、特殊精神療法ではリアリズムが欠如しており、時間とともに治療の進行を捉えることができない。
Int(Interactive Narrative Therapist)は、治療段階を計画し、反射レベルを誘導し、文脈的に適切な専門家のような反応を生成することによって、専門家の物語セラピストをシミュレートする。
論文 参考訳（メタデータ） (2025-07-27T11:52:09Z) - AutoMedEval: Harnessing Language Models for Automatic Medical Capability Evaluation [55.2739790399209]
本稿では,医療用LLMの質問応答能力を測定するために,13Bパラメータを用いたオープンソースの自動評価モデルAutoMedEvalを提案する。
AutoMedEvalの包括的な目的は、多様なモデルが生み出す応答の質を評価することであり、人間の評価への依存を著しく低減することを目的としている。
論文 参考訳（メタデータ） (2025-05-17T07:44:54Z) - Ψ-Arena: Interactive Assessment and Optimization of LLM-based Psychological Counselors with Tripartite Feedback [51.26493826461026]
大規模言語モデル(LLM)の総合的評価と最適化のための対話型フレームワークであるPsi-Arenaを提案する。
アリーナは、心理学的にプロファイルされたNPCクライアントとの多段階対話を通じて現実世界のカウンセリングをシミュレートする現実的なアリーナ相互作用を特徴としている。
8つの最先端のLLM実験は、異なる実世界のシナリオと評価の観点で大きなパフォーマンス変化を示す。
論文 参考訳（メタデータ） (2025-05-06T08:22:51Z) - Med-CoDE: Medical Critique based Disagreement Evaluation Framework [72.42301910238861]
医学的文脈における大きな言語モデル(LLM)の信頼性と精度は依然として重要な懸念点である。
現在の評価手法はロバスト性に欠けることが多く、LLMの性能を総合的に評価することができない。
我々は,これらの課題に対処するために,医療用LCMの特別設計評価フレームワークであるMed-CoDEを提案する。
論文 参考訳（メタデータ） (2025-04-21T16:51:11Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - Consistent Client Simulation for Motivational Interviewing-based Counseling [38.27487999477332]
メンタルヘルスカウンセリングのための一貫したクライアントシミュレーションを支援する新しいフレームワークを提案する。
我々のフレームワークは、シミュレーションされたクライアントの精神状態を追跡し、状態遷移を制御し、クライアントのモチベーション、信念、望ましい変更計画、受容性と整合した各状態行動を生成する。
論文 参考訳（メタデータ） (2025-02-05T00:58:30Z) - Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions [12.455050661682051]
本稿では,カウンセラーとクライアントの相互作用をシミュレートするためのロールプレイングを通じて,2つの大きな言語モデル(LLM)を利用するフレームワークを提案する。
我々のフレームワークは2つのLCMで構成され、1つは特定の実生活のユーザープロファイルを備えたクライアントとして機能し、もう1つは経験豊富なカウンセラーとして機能する。
論文 参考訳（メタデータ） (2024-08-28T13:29:59Z) - Towards a Client-Centered Assessment of LLM Therapists by Client Simulation [35.715821701042266]
本研究は、シミュレーションクライアントの関与によるLLMセラピストのクライアント中心評価に焦点を当てる。
倫理的には、人間に頻繁にクライアントを模倣させ、潜在的に有害なLCM出力に晒すことは危険であり、安全ではない。
クライアントシミュレーションによりLLMセラピストを評価するクライアント中心のアプローチであるClientCASTを提案する。
論文 参考訳（メタデータ） (2024-06-18T04:46:55Z) - PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。
心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
論文 参考訳（メタデータ） (2024-02-19T18:00:30Z) - A Computational Framework for Behavioral Assessment of LLM Therapists [7.665475687919995]
ChatGPTのような大規模言語モデル(LLM)は、精神的な健康問題に対処するためのセラピストとしての使用に対する関心が高まっている。
LLMセラピストの会話行動を体系的に評価するための概念実証フレームワークBOLTを提案する。
論文 参考訳（メタデータ） (2024-01-01T17:32:28Z) - Rethinking the Evaluation for Conversational Recommendation in the Era
of Large Language Models [115.7508325840751]
近年の大規模言語モデル(LLM)の成功は、より強力な対話レコメンデーションシステム(CRS)を開発する大きな可能性を示している。
本稿では,ChatGPTの会話レコメンデーションへの活用について検討し,既存の評価プロトコルが不十分であることを明らかにする。
LLMをベースとしたユーザシミュレータを用いた対話型評価手法iEvaLMを提案する。
論文 参考訳（メタデータ） (2023-05-22T15:12:43Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳（メタデータ） (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。