論文の概要: Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation

• arxiv url: http://arxiv.org/abs/2406.11852v1
• Date: Tue, 2 Apr 2024 15:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 07:40:34.613438
• Title: Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation
• Title（参考訳）: メンタルヘルス自動化のための言語モデルからのリスク--倫理と実装の構造
• Authors: Declan Grabb, Max Lamparth, Nina Vasan,
• Abstract要約: 本稿では、自律性のレベルを規定し、倫理的要件を概説し、AIエージェントに最適なデフォルト動作を定義する構造化フレームワークを提案する。 また、16のメンタルヘルス関連質問を用いた10の最先端言語モデルの評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Amidst the growing interest in developing task-autonomous AI for automated mental health care, this paper addresses the ethical and practical challenges associated with the issue and proposes a structured framework that delineates levels of autonomy, outlines ethical requirements, and defines beneficial default behaviors for AI agents in the context of mental health support. We also evaluate ten state-of-the-art language models using 16 mental health-related questions designed to reflect various mental health conditions, such as psychosis, mania, depression, suicidal thoughts, and homicidal tendencies. The question design and response evaluations were conducted by mental health clinicians (M.D.s). We find that existing language models are insufficient to match the standard provided by human professionals who can navigate nuances and appreciate context. This is due to a range of issues, including overly cautious or sycophantic responses and the absence of necessary safeguards. Alarmingly, we find that most of the tested models could cause harm if accessed in mental health emergencies, failing to protect users and potentially exacerbating existing symptoms. We explore solutions to enhance the safety of current models. Before the release of increasingly task-autonomous AI systems in mental health, it is crucial to ensure that these models can reliably detect and manage symptoms of common psychiatric disorders to prevent harm to users. This involves aligning with the ethical framework and default behaviors outlined in our study. We contend that model developers are responsible for refining their systems per these guidelines to safeguard against the risks posed by current AI technologies to user mental health and safety. Trigger warning: Contains and discusses examples of sensitive mental health topics, including suicide and self-harm.
• Abstract（参考訳）: 自動精神医療のためのタスク自律型AI開発への関心が高まっている中で、この問題に関連する倫理的・実践的な課題に対処し、自律性のレベルを規定し、倫理的要件を概説し、メンタルヘルスサポートの文脈においてAIエージェントの既定のデフォルト動作を定義する構造化されたフレームワークを提案する。 また,精神病,精神病,うつ病,自殺思考,殺人傾向などの精神疾患を反映した16のメンタルヘルス関連質問を用いた10の最先端言語モデルの評価を行った。 質問設計と対応評価は精神保健医(M.D.s)が行った。 既存の言語モデルは、ニュアンスをナビゲートし、文脈を理解できる人間専門家の標準に適合するには不十分である。 これは、過度に慎重な反応やサイコファンティックな反応、必要な安全策が欠如していることなど、様々な問題によるものである。 また、検査されたモデルのほとんどは、メンタルヘルスの緊急事態でアクセスされた場合、ユーザーを保護することができず、既存の症状を悪化させる可能性があることもわかりました。 現行モデルの安全性を高めるためのソリューションを探究する。 メンタルヘルスにおけるタスク自律型AIシステムのリリースの前には、これらのモデルが一般的な精神疾患の症状を確実に検出し、管理し、ユーザへの害を防ぐことが不可欠である。 これは、倫理的な枠組みと、我々の研究で概説されたデフォルトの行動と整合性を伴う。 モデル開発者は、現在のAI技術がユーザのメンタルヘルスと安全性にもたらすリスクに対して、これらのガイドラインに従ってシステムを改善する責任を負っている、と我々は主張する。 トリガー警告(Triger warning):自殺や自傷などの精神医学的トピックを包含し、議論する。

関連論文リスト

• MentalArena: Self-play Training of Language Models for Diagnosis and Treatment of Mental Health Disorders [59.515827458631975]
  メンタルヘルス障害は世界で最も深刻な病気の1つである。 プライバシーに関する懸念は、パーソナライズされた治療データのアクセシビリティを制限する。 MentalArenaは、言語モデルをトレーニングするためのセルフプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-10-09T13:06:40Z)
• Enhancing Mental Health Support through Human-AI Collaboration: Toward Secure and Empathetic AI-enabled chatbots [0.0]
  本稿では、スケーラブルなソリューションとしてのAI対応チャットボットの可能性について検討する。 メンタルヘルスの文脈で共感的で有意義な反応を提供する能力を評価する。 本稿では,データプライバシを保証し,バイアスを低減し,臨床医による継続的検証を統合して応答品質を向上させるためのフェデレート学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T20:49:13Z)
• Enhancing AI-Driven Psychological Consultation: Layered Prompts with Large Language Models [44.99833362998488]
  我々は, GPT-4 のような大規模言語モデル (LLM) を用いて, 心理的コンサルテーションサービスの強化について検討する。 提案手法では,ユーザ入力に動的に適応する新しい階層型プロンプトシステムを提案する。 また,LLMの感情的インテリジェンスを高めるために,共感とシナリオに基づくプロンプトを開発する。
  論文  参考訳（メタデータ） (2024-08-29T05:47:14Z)
• Explainable AI for Mental Disorder Detection via Social Media: A survey and outlook [0.7689629183085726]
  データサイエンス、人工知能、メンタルヘルスケアの交差点を徹底的に調査する。 人口の大部分がオンラインソーシャルメディアプラットフォームに積極的に関与し、膨大な個人情報を保管している。 この論文は、従来の診断方法、最先端のデータおよびAI駆動型研究研究、および精神医療のための説明可能なAIモデル(XAI)の出現をナビゲートする。
  論文  参考訳（メタデータ） (2024-06-10T02:51:16Z)
• No General Code of Ethics for All: Ethical Considerations in Human-bot Psycho-counseling [16.323742994936584]
  本稿では,人間ロボットの心理カウンセリングに特化した実証的倫理原則を提案する。 EVA2.0, GPT-3.5, GPT-4.0の反応を心理カウンセリングと精神健康調査の文脈で検討した。
  論文  参考訳（メタデータ） (2024-04-22T10:29:04Z)
• PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
  心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。 心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
  論文  参考訳（メタデータ） (2024-02-19T18:00:30Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)
• Challenges of Large Language Models for Mental Health Counseling [4.604003661048267]
  世界のメンタルヘルス危機は、精神疾患の急速な増加、限られた資源、治療を求める社会的便宜によって悪化している。 メンタルヘルス領域における大規模言語モデル(LLM)の適用は、提供された情報の正確性、有効性、信頼性に関する懸念を提起する。 本稿では, モデル幻覚, 解釈可能性, バイアス, プライバシ, 臨床効果など, 心理カウンセリングのためのLSMの開発に伴う課題について検討する。
  論文  参考訳（メタデータ） (2023-11-23T08:56:41Z)
• Empowering Psychotherapy with Large Language Models: Cognitive Distortion Detection through Diagnosis of Thought Prompting [82.64015366154884]
  本研究では,認知的歪み検出の課題について検討し,思考の早期発見(DoT)を提案する。 DoTは、事実と思考を分離するための主観的評価、思考と矛盾する推論プロセスを引き出すための対照的な推論、認知スキーマを要約するスキーマ分析という3つの段階を通して、患者のスピーチの診断を行う。 実験により、DoTは認知的歪み検出のためのChatGPTよりも大幅に改善され、一方で人間の専門家が承認した高品質な合理性を生成することが示された。
  論文  参考訳（メタデータ） (2023-10-11T02:47:21Z)
• Psy-LLM: Scaling up Global Mental Health Psychological Services with AI-based Large Language Models [3.650517404744655]
  Psy-LLMフレームワークは、大規模言語モデルを利用したAIベースのツールである。 我々のフレームワークは、トレーニング済みのLLMと心理学者や広範囲にクロールされた心理学記事の現実のプロフェッショナルQ&Aを組み合わせる。 医療専門家のためのフロントエンドツールとして機能し、即時対応とマインドフルネス活動を提供して患者のストレスを軽減する。
  論文  参考訳（メタデータ） (2023-07-22T06:21:41Z)
• Suicidal Ideation and Mental Disorder Detection with Attentive Relation Networks [43.2802002858859]
  本稿では,語彙に基づく感情スコアと潜在トピックを用いたテキスト表現を強化する。 本研究は,自殺思考と精神障害を関連するリスク指標を用いて検出する関係ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-16T11:18:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。