論文の概要: Do Large Language Models Align with Core Mental Health Counseling Competencies?

• arxiv url: http://arxiv.org/abs/2410.22446v1
• Date: Tue, 29 Oct 2024 18:27:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:42.057703
• Title: Do Large Language Models Align with Core Mental Health Counseling Competencies?
• Title（参考訳）: コアメンタルヘルスカウンセリング能力に相応しい言語モデルは存在するか?
• Authors: Viet Cuong Nguyen, Mohammad Taher, Dongwan Hong, Vinicius Konkolics Possobom, Vibha Thirunellayi Gopalakrishnan, Ekta Raj, Zihang Li, Heather J. Soled, Michael L. Birnbaum, Srijan Kumar, Munmun De Choudhury,
• Abstract要約: CounselingBenchは、LLM(Large Language Models)を評価する新しいNCMHCEベースのベンチマークである。 フロンティアモデルは最低限の閾値を超えますが、専門家レベルのパフォーマンスには欠けています。 我々の研究結果は、メンタルヘルスカウンセリングのためのAIシステムの開発の複雑さを浮き彫りにした。
• 参考スコア（独自算出の注目度）: 19.375161727597536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The rapid evolution of Large Language Models (LLMs) offers promising potential to alleviate the global scarcity of mental health professionals. However, LLMs' alignment with essential mental health counseling competencies remains understudied. We introduce CounselingBench, a novel NCMHCE-based benchmark evaluating LLMs across five key mental health counseling competencies. Testing 22 general-purpose and medical-finetuned LLMs, we find frontier models exceed minimum thresholds but fall short of expert-level performance, with significant variations: they excel in Intake, Assessment & Diagnosis yet struggle with Core Counseling Attributes and Professional Practice & Ethics. Medical LLMs surprisingly underperform generalist models accuracy-wise, while at the same time producing slightly higher-quality justifications but making more context-related errors. Our findings highlight the complexities of developing AI systems for mental health counseling, particularly for competencies requiring empathy and contextual understanding. We found that frontier LLMs perform at a level exceeding the minimal required level of aptitude for all key mental health counseling competencies, but fall short of expert-level performance, and that current medical LLMs do not significantly improve upon generalist models in mental health counseling competencies. This underscores the critical need for specialized, mental health counseling-specific fine-tuned LLMs that rigorously aligns with core competencies combined with appropriate human supervision before any responsible real-world deployment can be considered.
• Abstract（参考訳）: LLM(Large Language Models)の急速な進化は、メンタルヘルス専門家の世界的な不足を緩和する有望な可能性をもたらす。 しかし、LSMと心的健康カウンセリング能力との整合性はいまだ検討されていない。 我々は,5つの主要なメンタルヘルスカウンセリング能力にまたがるLSMを評価する新しいNCMHCEベースのベンチマークであるCounselingBenchを紹介する。 22の汎用的かつ医療的なLLMをテストすると、フロンティアモデルは最低限の閾値を超えますが、専門家レベルのパフォーマンスには欠けています。 医療用LLMは、驚くほど精度的にジェネラリストモデルに劣り、同時に若干の高品質な正当性を生み出す一方で、よりコンテキスト関連のエラーを発生させる。 我々の研究は、メンタルヘルスカウンセリングのためのAIシステムの開発の複雑さ、特に共感と文脈理解を必要とする能力の複雑さを浮き彫りにした。 その結果、フロンティアLSMは、すべての主要なメンタルヘルスカウンセリング能力に必要最低限の適度を越えながら、専門家レベルの能力に欠けており、現在の医療LLMは、メンタルヘルスカウンセリング能力におけるジェネラリストモデルに大きく改善されないことがわかった。 このことは、特定のメンタルヘルスカウンセリングに特化した微調整されたLSMが、責任ある現実世界の展開を検討する前に、適切な人間の監督とコア能力と厳格に整合する必要性を浮き彫りにしている。

関連論文リスト

• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
  LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。 本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。 実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
  論文  参考訳（メタデータ） (2025-01-07T08:49:04Z)
• Demystifying Large Language Models for Medicine: A Primer [50.83806796466396]
  大規模言語モデル(LLM)は、医療のさまざまな側面に革命をもたらすことのできる、変革的なAIツールのクラスである。 本チュートリアルは、LSMを臨床実践に効果的に統合するために必要なツールを医療専門家に提供することを目的としている。
  論文  参考訳（メタデータ） (2024-10-24T15:41:56Z)
• CBT-Bench: Evaluating Large Language Models on Assisting Cognitive Behavior Therapy [67.23830698947637]
  認知行動療法(CBT)支援の体系的評価のための新しいベンチマークであるCBT-BENCHを提案する。 我々は, CBT-BENCHにおける3段階の課題を含む: I: 基本的CBT知識獲得, 複数選択質問のタスク; II: 認知的モデル理解, 認知的歪み分類, 主根的信念分類, きめ細かい中核信念分類のタスク; III: 治療的応答生成, CBTセラピーセッションにおける患者音声に対する応答生成のタスク。 実験結果から,LLMはCBT知識のリサイティングに優れるが,複雑な実世界のシナリオでは不十分であることが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T04:52:57Z)
• MCQG-SRefine: Multiple Choice Question Generation and Evaluation with Iterative Self-Critique, Correction, and Comparison Feedback [6.681247642186701]
  医療事例を高品質なUSMLEスタイルの質問に変換する枠組みを提案する。 MCQG-SRefineは、専門家主導のプロンプトエンジニアリングと反復的な自己批判と自己補正フィードバックを統合している。 複雑でコストのかかる専門家評価プロセスを置き換えるため, LLM-as-Judge を用いた自動計測手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T03:38:29Z)
• MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media [31.752563319585196]
  ブラックボックスモデルはタスクを切り替えるときに柔軟性がなく、その結果は説明に欠ける。 大きな言語モデル(LLM)の台頭とともに、その柔軟性はこの分野に新しいアプローチを導入した。 本稿では,9Kサンプルからなる中国初のマルチタスク・ソーシャル・メディア解釈型メンタルヘルス・インストラクション・データセットを提案する。 また,中国ソーシャルメディアをターゲットとしたメンタルヘルス分析を目的とした,初のオープンソースLCMであるMentalGLMシリーズモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T09:29:27Z)
• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Evaluation of OpenAI o1: Opportunities and Challenges of AGI [112.0812059747033]
  o1-previewは目覚ましい能力を示し、しばしば人間レベルまたは優れたパフォーマンスを実現した。 このモデルは、様々な分野にわたる複雑な推論と知識の統合を必要とするタスクに優れていた。 総合的な結果は、人工知能への大きな進歩を示している。
  論文  参考訳（メタデータ） (2024-09-27T06:57:00Z)
• RuleAlign: Making Large Language Models Better Physicians with Diagnostic Rule Alignment [54.91736546490813]
  本稿では,大規模言語モデルと特定の診断規則との整合性を考慮したルールアラインフレームワークを提案する。 患者と医師間の規則に基づくコミュニケーションを含む医療対話データセットを開発した。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-08-22T17:44:40Z)
• OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI [73.75520820608232]
  我々は,11,163のバイリンガル問題を含む,テキストのみとインターリーブされたテキストイメージのモダリティを紹介する。 これらの課題には、7つのフィールドと62の国際オリンピック大会にわたる幅広い規律が含まれており、データ漏洩について厳格に調査されている。 我々の評価によると、GPT-4oのような先進モデルでさえ、複雑な推論とマルチモーダル統合における現在のAI制限を反映して、全体的な精度は39.97%しか達成していない。
  論文  参考訳（メタデータ） (2024-06-18T16:20:53Z)
• The Impossibility of Fair LLMs [59.424918263776284]
  大規模言語モデル(LLM)の時代において、公正なAIの必要性はますます明確になっている。 我々は、機械学習研究者が公正性を評価するために使った技術フレームワークについてレビューする。 我々は、特定のユースケースにおける公平性を達成するためのより現実的な目標のためのガイドラインを策定する。
  論文  参考訳（メタデータ） (2024-05-28T04:36:15Z)
• OlympiadBench: A Challenging Benchmark for Promoting AGI with Olympiad-Level Bilingual Multimodal Scientific Problems [62.06169250463104]
  我々はOlympiadレベルのバイリンガル・マルチモーダル・サイエンス・ベンチマークであるOlympiadBenchを紹介し、Olympiadレベルの数学と物理学のコンペティションの8,476の問題を特徴とする。 最も優れたモデルであるGPT-4Vはオリンピアドベンチで平均17.97%を獲得し、物理学ではわずか10.74%である。 GPT-4Vの分析では、幻覚、知識欠失、論理的誤信などの問題が指摘されている。
  論文  参考訳（メタデータ） (2024-02-21T18:49:26Z)
• Large Language Model for Mental Health: A Systematic Review [2.9429776664692526]
  大規模言語モデル(LLM)は、デジタルヘルスの潜在的な応用に対して大きな注目を集めている。 この体系的なレビューは、早期スクリーニング、デジタル介入、臨床応用におけるその強みと限界に焦点を当てている。
  論文  参考訳（メタデータ） (2024-02-19T17:58:41Z)
• Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [59.60384461302662]
  医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。 Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。 また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
  論文  参考訳（メタデータ） (2024-02-17T08:04:23Z)
• Large Language Models in Mental Health Care: a Scoping Review [28.635427491110484]
  メンタルヘルスにおける大規模言語モデル(LLM)の統合は、新たな分野である。 アプリケーションの結果を体系的にレビューし、臨床設定の利点と限界を明確にすることが必要である。 本総説は、精神医療におけるLSMの使用について、その効果、課題、将来的な応用の可能性について、総合的に概観することを目的としている。
  論文  参考訳（メタデータ） (2024-01-01T17:35:52Z)
• A Computational Framework for Behavioral Assessment of LLM Therapists [8.373981505033864]
  ChatGPTや他の大規模言語モデル(LLM)は、LLMをセラピストとして活用することへの関心を大いに高めた。 本稿では,セラピストとしてLLMの会話行動を研究するための新しい計算フレームワークBOLTを提案する。 我々は, LLM療法士の行動と, 高品質な人的療法の行動を比較し, 高品質な治療で観察される行動をよりよく反映するために, それらの行動をどのように調節するかを検討した。
  論文  参考訳（メタデータ） (2024-01-01T17:32:28Z)
• Challenges of Large Language Models for Mental Health Counseling [4.604003661048267]
  世界のメンタルヘルス危機は、精神疾患の急速な増加、限られた資源、治療を求める社会的便宜によって悪化している。 メンタルヘルス領域における大規模言語モデル(LLM)の適用は、提供された情報の正確性、有効性、信頼性に関する懸念を提起する。 本稿では, モデル幻覚, 解釈可能性, バイアス, プライバシ, 臨床効果など, 心理カウンセリングのためのLSMの開発に伴う課題について検討する。
  論文  参考訳（メタデータ） (2023-11-23T08:56:41Z)
• Rethinking Large Language Models in Mental Health Applications [42.21805311812548]
  大規模言語モデル(LLM)は、メンタルヘルスにおいて貴重な資産となっている。 本稿では,精神保健分野におけるLSMの利用について考察する。
  論文  参考訳（メタデータ） (2023-11-19T08:40:01Z)
• ChiMed-GPT: A Chinese Medical Large Language Model with Full Training Regime and Better Alignment to Human Preferences [51.66185471742271]
  我々は中国医学領域向けに明示的に設計されたベンチマークLSMであるChiMed-GPTを提案する。 ChiMed-GPTは、事前訓練、SFT、RLHFを含む総合的な訓練体制を実施。 我々は,ChiMed-GPTを患者識別に関する態度尺度の実行を促すことによって,潜在的なバイアスを分析した。
  論文  参考訳（メタデータ） (2023-11-10T12:25:32Z)
• MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models [28.62967557368565]
  ソーシャルメディア上に,最初のマルチタスクおよびマルチソース解釈可能なメンタルヘルスインストラクションデータセットを構築した。 専門家が作成した数発のプロンプトとラベルを収集し,ChatGPTをプロンプトし,その応答から説明を得る。 IMHIデータセットとLLaMA2ファンデーションモデルに基づいて、メンタルヘルス分析のための最初のオープンソースLLMシリーズであるMentalLLaMAを訓練する。
  論文  参考訳（メタデータ） (2023-09-24T06:46:08Z)
• Psy-LLM: Scaling up Global Mental Health Psychological Services with AI-based Large Language Models [3.650517404744655]
  Psy-LLMフレームワークは、大規模言語モデルを利用したAIベースのツールである。 我々のフレームワークは、トレーニング済みのLLMと心理学者や広範囲にクロールされた心理学記事の現実のプロフェッショナルQ&Aを組み合わせる。 医療専門家のためのフロントエンドツールとして機能し、即時対応とマインドフルネス活動を提供して患者のストレスを軽減する。
  論文  参考訳（メタデータ） (2023-07-22T06:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。