論文の概要: Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers
- arxiv url: http://arxiv.org/abs/2504.18412v1
- Date: Fri, 25 Apr 2025 15:14:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:53.811525
- Title: Expressing stigma and inappropriate responses prevents LLMs from safely replacing mental health providers
- Title（参考訳）: スティグマの表現と不適切な反応は、LSMがメンタルヘルスプロバイダを安全に置き換えるのを防ぐ
- Authors: Jared Moore, Declan Grabb, William Agnew, Kevin Klyman, Stevie Chancellor, Desmond C. Ong, Nick Haber,
- Abstract要約: 本研究では、メンタルヘルスプロバイダの代替として、大規模言語モデル(LLM)の使用について検討する。
医学界のベストプラクティスとは対照的に、LSMは精神疾患の患者に対するスティグマを表現している。
LLMはセラピストに取って代わるべきではないと結論し,臨床療法におけるLLMの代替的役割について議論する。
- 参考スコア（独自算出の注目度）: 7.88918403732414
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Should a large language model (LLM) be used as a therapist? In this paper, we investigate the use of LLMs to *replace* mental health providers, a use case promoted in the tech startup and research space. We conduct a mapping review of therapy guides used by major medical institutions to identify crucial aspects of therapeutic relationships, such as the importance of a therapeutic alliance between therapist and client. We then assess the ability of LLMs to reproduce and adhere to these aspects of therapeutic relationships by conducting several experiments investigating the responses of current LLMs, such as `gpt-4o`. Contrary to best practices in the medical community, LLMs 1) express stigma toward those with mental health conditions and 2) respond inappropriately to certain common (and critical) conditions in naturalistic therapy settings -- e.g., LLMs encourage clients' delusional thinking, likely due to their sycophancy. This occurs even with larger and newer LLMs, indicating that current safety practices may not address these gaps. Furthermore, we note foundational and practical barriers to the adoption of LLMs as therapists, such as that a therapeutic alliance requires human characteristics (e.g., identity and stakes). For these reasons, we conclude that LLMs should not replace therapists, and we discuss alternative roles for LLMs in clinical therapy.
- Abstract（参考訳）: 大きな言語モデル(LLM)をセラピストとして使うべきか?
本稿では、技術系スタートアップと研究分野において推進されるユースケースである精神保健提供者(*代替)へのLSMの使用について検討する。
本稿では,大手医療機関による治療ガイドラインのマッピング検討を行い,セラピストとクライアントのセラピーアライアンスの重要性など,治療関係の重要な側面を明らかにする。
次に, 治療関係のこれらの側面を再現し, 定着させるLLMの能力を評価するために, 現状のgpt-4oなどのLLMの反応を調査する実験を行った。
医療社会におけるベストプラクティスとは対照的に, LLM
1)精神状態のある人に対するスティグマを表現し、
2) 自然療法設定において、ある一般的な(かつ重要な)条件に不適切に反応する。例えば、LLMは、おそらく彼らの梅毒のために、クライアントの妄想的思考を奨励する。
これは、より大規模で新しいLSMでも発生し、現在の安全プラクティスがこれらのギャップに対処できないことを示唆している。
さらに,セラピストとしてLLMを採用する上での基礎的かつ実践的な障壁として,治療提携には人的特性(アイデンティティ,利害関係など)が必要であることに留意する。
これらの理由から,LSMはセラピストに取って代わるべきではないと結論し,臨床療法におけるLSMの代替的役割について議論する。
関連論文リスト
- "It Listens Better Than My Therapist": Exploring Social Media Discourse on LLMs as Mental Health Tool [1.223779595809275]
大きな言語モデル(LLM)は、会話の流布、共感シミュレーション、可用性の新機能を提供する。
本研究では,1万件以上のTikTokコメントを分析し,LLMをメンタルヘルスツールとして利用する方法について検討した。
その結果、コメントの20%近くが個人利用を反映しており、これらのユーザーは圧倒的に肯定的な態度を示している。
論文 参考訳（メタデータ） (2025-04-14T17:37:32Z) - Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models [50.16340812031201]
我々は,大規模言語モデル (LLM) がベイジアンフレームワークから期待されているように,その信念を更新しないことを示す。
我々は、最適ベイズモデルの予測を模倣するように訓練することで、ベイズ的な推論をLLMに教える。
論文 参考訳（メタデータ） (2025-03-21T20:13:04Z) - Understanding the Dark Side of LLMs' Intrinsic Self-Correction [55.51468462722138]
LLMの応答を改善するために,本質的な自己補正法が提案された。
近年の研究では、LLMの内在的な自己補正は、フィードバックのプロンプトとして、オラクルラベルなしで失敗することが示されている。
内在的な自己補正は、中途半端な回答と最終回答の両方を LLM が揺らぎ、単純な事実的質問に対する素早い偏見をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-12-19T15:39:31Z) - An Active Inference Strategy for Prompting Reliable Responses from Large Language Models in Medical Practice [0.0]
大規模言語モデル(LLM)は非決定論的であり、誤ったあるいは有害な応答を与え、品質管理を保証するために規制できない。
提案フレームワークは, 評価された医療情報を含むドメイン固有のデータセットに対して, 一次知識ベースを限定することにより, LLM応答を改良する。
不眠症治療士に対する専門的認知行動療法をブラインド形式で評価した。
論文 参考訳（メタデータ） (2024-07-23T05:00:18Z) - Towards a Client-Centered Assessment of LLM Therapists by Client Simulation [35.715821701042266]
本研究は、シミュレーションクライアントの関与によるLLMセラピストのクライアント中心評価に焦点を当てる。
倫理的には、人間に頻繁にクライアントを模倣させ、潜在的に有害なLCM出力に晒すことは危険であり、安全ではない。
クライアントシミュレーションによりLLMセラピストを評価するクライアント中心のアプローチであるClientCASTを提案する。
論文 参考訳（メタデータ） (2024-06-18T04:46:55Z) - Can AI Relate: Testing Large Language Model Response for Mental Health Support [23.97212082563385]
大型言語モデル(LLM)はすでにニューヨーク・ラングーン、ダナ・ファーバー、NHSなどの病院システムで臨床使用のために試験されている。
精神医療の自動化に向けて, LLM 反応が有効かつ倫理的な道筋であるか否かを評価するための評価枠組みを開発する。
論文 参考訳（メタデータ） (2024-05-20T13:42:27Z) - A Survey on Large Language Models for Critical Societal Domains: Finance, Healthcare, and Law [65.87885628115946]
大規模言語モデル(LLM)は、金融、医療、法律の展望に革命をもたらしている。
我々は、医療における診断・治療方法論の強化、財務分析の革新、法的解釈・コンプライアンス戦略の精査におけるLCMの役割を強調した。
これらの分野におけるLLMアプリケーションの倫理を批判的に検討し、既存の倫理的懸念と透明で公平で堅牢なAIシステムの必要性を指摘した。
論文 参考訳（メタデータ） (2024-05-02T22:43:02Z) - When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。
Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。
本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2024-02-18T04:57:19Z) - A Computational Framework for Behavioral Assessment of LLM Therapists [7.665475687919995]
ChatGPTのような大規模言語モデル(LLM)は、精神的な健康問題に対処するためのセラピストとしての使用に対する関心が高まっている。
LLMセラピストの会話行動を体系的に評価するための概念実証フレームワークBOLTを提案する。
論文 参考訳（メタデータ） (2024-01-01T17:32:28Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for Themselves [57.974103113675795]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳（メタデータ） (2023-11-07T18:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。