論文の概要: Evaluation of Motivational Interviewing Counsellors with Task-Aware Multi-Stage LLM-Based Simulated Clients

• arxiv url: http://arxiv.org/abs/2608.07499v1
• Date: Fri, 19 Jun 2026 15:26:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.168131
• Title: Evaluation of Motivational Interviewing Counsellors with Task-Aware Multi-Stage LLM-Based Simulated Clients
• Title（参考訳）: タスク対応多段階LCMシミュレーションクライアントを用いたモチベーションインタビューコージェレータの評価
• Abstract要約: 喫煙停止時のMIカウンセラーを評価するためのタスク対応多段階LCMベースのクライアントシミュレーションフレームワークであるEvoke-Simを提案する。 Evoke-Simは構造化されたクライアントプロファイル、起動固有の3段階の会話フロー、および各ステージでどのクライアントプロファイル情報が開示されるかを規定する公開ポリシーを採用している。 Evoke-Simは、既存のプロファイルグラウンドのシミュレーションクライアントと比較して、タスク認識評価指標を用いてMI品質のレベルを識別するのが優れていることを示す。
• 参考スコア（独自算出の注目度）: 0.879504058268139
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The development and benchmarking of Large Language Model (LLM)-based Motivational Interviewing (MI) counsellors now often rely on LLM-based simulated clients. Prior work on simulated clients, however, has not aligned with the specific tasks fundamental to the MI therapy approach. A key task is evoking, in which the counsellor first elicits the client's ambivalence and then strengthens the client's motivation for change. We present Evoke-Sim, a task-aware, multi-stage LLM-based client simulation framework for evaluating MI counsellors in smoking cessation, designed specifically for the evoking MI task. Evoke-Sim employs structured client profiles, an evoking-specific three-stage conversation flow, and a reveal policy that regulates which client profile information might be disclosed at each stage. We show that compared to existing profile-grounded simulated clients, Evoke-Sim is better at differentiating levels of MI quality using task-aware evaluation metrics, while reducing non-grounded client statements and premature disclosure of client information, setting a higher standard for the evaluation of LLM-based MI counsellors.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのモチベーション・インタビュア(MI)カウンセラーの開発とベンチマークは、現在ではLLMベースのシミュレートされたクライアントに依存していることが多い。 しかし、シミュレーションクライアントに関する以前の作業は、MIセラピーアプローチの基本となる特定のタスクと一致していない。 主要なタスクは、まずカウンセラーがクライアントのアンビバレンスを引き合いに出し、それから変更に対するクライアントのモチベーションを強化することである。 喫煙停止におけるMIカウンセラーの評価を行うためのタスク対応多段階LCMベースのクライアントシミュレーションフレームワークであるEvoke-Simについて述べる。 Evoke-Simは構造化されたクライアントプロファイル、起動固有の3段階の会話フロー、および各ステージでどのクライアントプロファイル情報が開示されるかを規定する公開ポリシーを採用している。 提案手法は,従来のプロファイル・グラウンド・シミュレーション・クライアントと比較して,タスク・アウェア評価指標を用いたMI品質の差別化に優れる一方で,非グラウンド・クライアント・ステートメントの低減とクライアント情報の早期開示を図り,LCMベースのMIカウンセラー評価の基準を高く設定する。

関連論文リスト

• PsyCLIENT: Client Simulation via Conversational Trajectory Modeling for Trainee Practice and Model Evaluation in Mental Health Counseling [26.381095576860925]
  PsyCLIENTは会話軌道モデルに基づく新しいシミュレーションフレームワークである。 中国初のオープンソースのクライアントプロファイルデータセットであるPsyCLIENT-CPを紹介する。 コードとデータは、メンタルヘルスカウンセリングの今後の研究を促進するためにリリースされる。
  論文  参考訳（メタデータ） (2026-01-12T08:33:05Z)
• Music Recommendation with Large Language Models: Challenges, Opportunities, and Evaluation [14.210401534321806]
  Music Recommender Systems (MRS) は長年、情報検索のフレーミングに依存してきた。 LLM(Large Language Models)の出現は、このフレームワークを混乱させます。 LLMはランキングベースではなく生成的であり、標準精度のメトリクスを疑問視する。
  論文  参考訳（メタデータ） (2025-11-20T15:46:27Z)
• IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
  IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。 エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。 最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
  論文  参考訳（メタデータ） (2025-05-23T09:37:52Z)
• Know Me, Respond to Me: Benchmarking LLMs for Dynamic User Profiling and Personalized Responses at Scale [53.059480071818136]
  大規模言語モデル(LLM)は、幅広いタスクでユーザのためのパーソナライズされたアシスタントとして登場した。 PERSONAMEMは180以上のユーザ-LLMインタラクション履歴を持つキュレートされたユーザプロファイルを備えている。 LLMチャットボットのユーザプロファイルの現在状況に応じて,最も適切な応答を識別する能力を評価する。
  論文  参考訳（メタデータ） (2025-04-19T08:16:10Z)
• CAMI: A Counselor Agent Supporting Motivational Interviewing through State Inference and Topic Exploration [41.03565985067749]
  本稿では、モチベーション・インタビュー(MI)に基づく新しいカウンセラーエージェントCAMIを紹介する。 我々はCAMIの性能を自動評価と手動評価の両方で評価する。 その結果、CAMIは最先端の手法に勝るだけでなく、より現実的なカウンセラー的な行動を示すことがわかった。
  論文  参考訳（メタデータ） (2025-02-05T01:09:09Z)
• MemSim: A Bayesian Simulator for Evaluating Memory of LLM-based Personal Assistants [64.41695570145673]
  生成したユーザメッセージから信頼性の高い質問や回答(QA)を自動的に構築するベイズシミュレータであるMemSimを提案する。 MemSimに基づいて、MemDailyという名前の日常生活シナリオのデータセットを生成し、我々のアプローチの有効性を評価するための広範な実験を行う。
  論文  参考訳（メタデータ） (2024-09-30T10:19:04Z)
• Towards a Client-Centered Assessment of LLM Therapists by Client Simulation [35.715821701042266]
  本研究は、シミュレーションクライアントの関与によるLLMセラピストのクライアント中心評価に焦点を当てる。 倫理的には、人間に頻繁にクライアントを模倣させ、潜在的に有害なLCM出力に晒すことは危険であり、安全ではない。 クライアントシミュレーションによりLLMセラピストを評価するクライアント中心のアプローチであるClientCASTを提案する。
  論文  参考訳（メタデータ） (2024-06-18T04:46:55Z)
• Improving Privacy-Preserving Vertical Federated Learning by Efficient Communication with ADMM [62.62684911017472]
  フェデレートラーニング(FL)により、デバイスは共有モデルを共同でトレーニングし、トレーニングデータをプライバシ目的でローカルに保つことができる。 マルチヘッド(VIM)を備えたVFLフレームワークを導入し、各クライアントの別々のコントリビューションを考慮に入れます。 VIMは最先端技術に比べて性能が著しく向上し、収束が速い。
  論文  参考訳（メタデータ） (2022-07-20T23:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。