論文の概要: Preference Learning Unlocks LLMs' Psycho-Counseling Skills

• arxiv url: http://arxiv.org/abs/2502.19731v1
• Date: Thu, 27 Feb 2025 03:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:58:18.630550
• Title: Preference Learning Unlocks LLMs' Psycho-Counseling Skills
• Title（参考訳）: LLMの心理カウンセリングスキルを解き放つ選好学習
• Authors: Mian Zhang, Shaun M. Eack, Zhiyu Zoey Chen,
• Abstract要約: 我々は、36kの高品質な選好比較ペアを含む選好データセット、A PsychoCounsel-Preferenceを作成する。 ベストアライメントモデルである PsychoCounsel-Llama3-8B は, GPT-4o に対して 87% の勝利率を達成した。
• 参考スコア（独自算出の注目度）: 0.7510165488300369
• License:
• Abstract: Applying large language models (LLMs) to assist in psycho-counseling is an emerging and meaningful approach, driven by the significant gap between patient needs and the availability of mental health support. However, current LLMs struggle to consistently provide effective responses to client speeches, largely due to the lack of supervision from high-quality real psycho-counseling data, whose content is typically inaccessible due to client privacy concerns. Furthermore, the quality of therapists' responses in available sessions can vary significantly based on their professional training and experience. Assessing the quality of therapists' responses remains an open challenge. In this work, we address these challenges by first proposing a set of professional and comprehensive principles to evaluate therapists' responses to client speeches. Using these principles, we create a preference dataset, PsychoCounsel-Preference, which contains 36k high-quality preference comparison pairs. This dataset aligns with the preferences of professional psychotherapists, providing a robust foundation for evaluating and improving LLMs in psycho-counseling. Experiments on reward modeling and preference learning demonstrate that PsychoCounsel-Preference is an excellent resource for LLMs to acquire essential skills for responding to clients in a counseling session. Our best-aligned model, PsychoCounsel-Llama3-8B, achieves an impressive win rate of 87% against GPT-4o. We release PsychoCounsel-Preference, PsychoCounsel-Llama3-8B and the reward model PsychoCounsel Llama3-8B-Reward to facilitate the research of psycho-counseling with LLMs at: https://hf.co/Psychotherapy-LLM.
• Abstract（参考訳）: 大規模言語モデル(LLMs)を心理カウンセリングに応用することは、患者のニーズとメンタルヘルスサポートの有効性の間の大きなギャップによって引き起こされる、新しくて意味のあるアプローチである。 しかしながら、現在のLLMは、クライアントのプライバシの懸念からコンテンツにアクセスできない高品質のリアルなサイコカウンセリングデータからの監督が欠如しているため、クライアントのスピーチに効果的な応答を提供するのに苦労している。 さらに、利用可能なセッションにおけるセラピストの反応の質は、専門的なトレーニングや経験に基づいて大きく異なる。 セラピストの反応の質を評価することは、依然としてオープンな課題である。 本研究は、まず、セラピストのクライアントスピーチに対する反応を評価するための専門的かつ包括的な原則を提案することで、これらの課題に対処する。 これらの原則を用いて、36kの高品質な選好比較ペアを含む選好データセットであるサイココウンセル-選好を作成する。 このデータセットは、プロの心理療法士の好みと一致し、サイコカウンセリングにおけるLSMの評価と改善のための堅牢な基盤を提供する。 報酬モデリングと選好学習の実験により、サイココウンセル・パラメーターは、カウンセリングセッションでクライアントに応答するために必要なスキルを得るのに優れたリソースであることが示された。 ベストアライメントモデルである PsychoCounsel-Llama3-8B は, GPT-4o に対して 87% の勝利率を達成した。 我々は、LLMsにおけるサイコカウンセル・プレリファレンス、サイコカウンセル・ラマ3-8B、および報酬モデルであるサイコカウンセル・ラマ3-8B-Rewardをリリースし、サイコカウンセルとLLMsの心理カウンセリングの研究を促進する。

関連論文リスト

• AutoCBT: An Autonomous Multi-agent Framework for Cognitive Behavioral Therapy in Psychological Counseling [57.054489290192535]
  伝統的な個人の心理カウンセリングは主にニッチであり、心理学的な問題を持つ個人によって選択されることが多い。 オンラインの自動カウンセリングは、恥の感情によって助けを求めることをためらう人たちに潜在的な解決策を提供する。
  論文  参考訳（メタデータ） (2025-01-16T09:57:12Z)
• CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy [67.23830698947637]
  認知行動療法(CBT)支援の体系的評価のための新しいベンチマークであるCBT-BENCHを提案する。 我々は, CBT-BENCHにおける3段階の課題を含む: I: 基本的CBT知識獲得, 複数選択質問のタスク; II: 認知的モデル理解, 認知的歪み分類, 主根的信念分類, きめ細かい中核信念分類のタスク; III: 治療的応答生成, CBTセラピーセッションにおける患者音声に対する応答生成のタスク。 実験結果から,LLMはCBT知識のリサイティングに優れるが,複雑な実世界のシナリオでは不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T04:52:57Z)
• Therapy as an NLP Task: Psychologists' Comparison of LLMs and Human Peers in CBT [6.812247730094931]
  本研究は,大規模言語モデル(LLM)をエビデンスベースの治療の担い手として用いる可能性と限界について検討する。 認知行動療法(CBT)に根ざした公衆アクセス型メンタルヘルスの会話を再現し,セッションダイナミクスとカウンセラーのCBTに基づく行動の比較を行った。 その結果, ピアセッションは共感, 小話, セラピーアライアンス, 共有体験が特徴であるが, セラピストのドリフトがしばしば現れることがわかった。
  論文  参考訳（メタデータ） (2024-09-03T19:19:13Z)
• Interactive Agents: Simulating Counselor-Client Psychological Counseling via Role-Playing LLM-to-LLM Interactions [12.455050661682051]
  本稿では,カウンセラーとクライアントの相互作用をシミュレートするためのロールプレイングを通じて,2つの大きな言語モデル(LLM)を利用するフレームワークを提案する。 我々のフレームワークは2つのLCMで構成され、1つは特定の実生活のユーザープロファイルを備えたクライアントとして機能し、もう1つは経験豊富なカウンセラーとして機能する。
  論文  参考訳（メタデータ） (2024-08-28T13:29:59Z)
• Cactus: Towards Psychological Counseling Conversations using Cognitive Behavioral Theory [24.937025825501998]
  我々は,認知行動療法(Cognitive Behavioral Therapy, CBT)の目標指向的, 構造化的アプローチを用いて, 実生活インタラクションをエミュレートする多ターン対話データセットを作成する。 我々は、実際のカウンセリングセッションの評価、専門家の評価との整合性の確保に使用される確立された心理学的基準をベンチマークする。 Cactusで訓練されたモデルであるCamelはカウンセリングスキルにおいて他のモデルよりも優れており、カウンセリングエージェントとしての有効性と可能性を強調している。
  論文  参考訳（メタデータ） (2024-07-03T13:41:31Z)
• Quantifying AI Psychology: A Psychometrics Benchmark for Large Language Models [57.518784855080334]
  大きな言語モデル(LLM)は例外的なタスク解決能力を示しており、人間に似た役割を担っている。 本稿では,LLMにおける心理学的次元を調査するための枠組みとして,心理学的識別,評価データセットのキュレーション,結果検証による評価について述べる。 本研究では,個性,価値観,感情,心の理論,モチベーション,知性の6つの心理学的側面を網羅した総合的心理測定ベンチマークを導入する。
  論文  参考訳（メタデータ） (2024-06-25T16:09:08Z)
• LLM Questionnaire Completion for Automatic Psychiatric Assessment [49.1574468325115]
  大規模言語モデル(LLM)を用いて、非構造的心理面接を、様々な精神科領域と人格領域にまたがる構造化された質問票に変換する。 得られた回答は、うつ病の標準化された精神医学的指標(PHQ-8)とPTSD(PCL-C)の予測に使用される特徴として符号化される。
  論文  参考訳（メタデータ） (2024-06-09T09:03:11Z)
• PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
  心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。 心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
  論文  参考訳（メタデータ） (2024-02-19T18:00:30Z)
• A Computational Framework for Behavioral Assessment of LLM Therapists [7.665475687919995]
  ChatGPTのような大規模言語モデル(LLM)は、精神的な健康問題に対処するためのセラピストとしての使用に対する関心が高まっている。 LLMセラピストの会話行動を体系的に評価するための概念実証フレームワークBOLTを提案する。
  論文  参考訳（メタデータ） (2024-01-01T17:32:28Z)
• PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection [50.66968526809069]
  PsyCoTと呼ばれる新しい人格検出手法を提案する。これは、個人がマルチターン対話方式で心理的質問を完遂する方法を模倣するものである。 実験の結果,PsyCoTは人格検出におけるGPT-3.5の性能とロバスト性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-10-31T08:23:33Z)
• "Am I A Good Therapist?" Automated Evaluation Of Psychotherapy Skills Using Speech And Language Technologies [38.726068038788384]
  5000以上のレコードのデータセットを使用して、当社のプラットフォームとそのパフォーマンスを説明します。 本システムでは,セッションのダイナミクスに関する情報を含む包括的フィードバックをセラピストに提供する。 我々は、近い将来、自動精神療法評価ツールの広範な利用が専門家の能力を増強すると確信している。
  論文  参考訳（メタデータ） (2021-02-22T18:52:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。