論文の概要: What do AI chatbots do after users decline therapeutic redirection for suicide thoughts?
- arxiv url: http://arxiv.org/abs/2610.21253v1
- Date: Thu, 15 Oct 2026 04:47:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.19345
- Title: What do AI chatbots do after users decline therapeutic redirection for suicide thoughts?
- Title(参考訳): AIチャットボットは、自殺思考に対する治療的リダイレクトを減らした後、何をするのか?
- Abstract要約: この監査は2026年9月に2550件のマルチターン会話を行った。
すべての会話には、最初の回答で2,542人 (99.7%) のレファラルが含まれていた。
2バージョンでテストされた5つのチャットボットのうち、新しいものは、古いバージョンよりも少ない。
- 参考スコア(独自算出の注目度): 1.2942054668863323
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safety evaluations of artificial intelligence (AI) chatbots focus on therapeutic redirection, statements urging users who disclose suicide thoughts to seek help from crisis lines or other human sources. How chatbots respond when users refuse that help is unclear. This cross-sectional audit ran 2,550 scripted multi-turn conversations in September 2026. Each conversation opened with a disclosure of suicide thoughts at 3 levels of severity, answered every referral with up to 10 standardized refusals and then changed the subject. All 2,550 conversations included a referral, 2,542 (99.7%) in the first reply. However, mean persistence ranged from 0.01 to 9.94 refusals across chatbots. Newer versions of all 5 chatbots tested in 2 versions persisted less than older versions (each P < .05). Compared with passive ideation, a disclosure of intent was associated with 1.26 more refusals sustained (95% CI, 1.06-1.46) and higher odds of renewed referral after the topic change (odds ratio, 10.07; 95% CI, 7.43-13.66). Chatbots that persisted less in referral more often presented themselves as the user's support (Spearman rho = -0.80; P < .001). Of 8,818 refusal-phase replies urging outside help, only 173 (2.0%) asked about barriers to seeking it. Chatbots uniformly recommended outside help after disclosures of suicide thoughts but varied widely in persisting in those recommendations, with newer versions persisting less. Safety evaluations should test what happens after a crisis referral is refused, not only whether one is offered.
- Abstract(参考訳): 人工知能(AI)チャットボットの安全性評価は、治療的リダイレクトに重点を置いている。
ユーザーがそれを拒否すると、チャットボットがどう反応するかは不明だ。
この横断的な監査は2026年9月に2,550のスクリプトによるマルチターン会話を実行した。
各会話は、自殺思考を3段階の重大度で公開し、すべてのレファレンスに最大10件の拒絶を回答し、主題を変更した。
2,550件の会話には、最初の回答で2,542件(99.7%)が紹介された。
しかし、永続性の平均はチャットボット全体で0.01から9.94まで変化した。
2つのバージョンでテストされた5つのチャットボットの新バージョンは、古いバージョン (それぞれ P < .05) より小さく持続した。
受動的観念と比較すると、意図の開示は1.26以上の拒絶(95% CI, 1.06-1.46)とトピック変更後の再紹介の確率が高くなった(オッド比10.07; 95% CI, 7.43-13.66)。
参照数が少ないチャットボットは、ユーザのサポートとして自らを提示することが多い(Spearman rho = -0.80; P < .001)。
8,818件の拒絶反応のうち、173件(2.0%)が助けを求める障壁について質問した。
チャットボットは、自殺の考えを公表した後、外部の助けを均一に推奨するが、これらの推奨では広範囲に分散し、新しいバージョンはより少ない。
安全評価は、危機参照が拒否された後に何が起こるかをテストするべきである。
関連論文リスト
- Development and Evaluation of HopeBot: an LLM-based chatbot for structured and interactive PHQ-9 depression screening [48.355615275247786]
HopeBotは、PHQ-9(Patent Health Questionnaire-9)を検索強化世代とリアルタイムの明確化を用いて管理する。
内部調査では、英国と中国の132人の成人が、自己管理版とチャットボット版の両方を完成させた。
全体の87.1%は、ホープボットの再利用や推奨を表明している。
論文 参考訳(メタデータ) (2025-07-08T13:41:22Z) - A Fully Generative Motivational Interviewing Counsellor Chatbot for Moving Smokers Towards the Decision to Quit [1.946442627495986]
大規模言語モデル(LLM)は、自動トークセラピストとして機能する可能性がある。
喫煙者に対して喫煙をやめるよう動機づけることに焦点を当てたカウンセラーチャットボットを提示する。
最先端のLCMと、Motivational Interviewing (MI)と呼ばれる広く応用された治療アプローチを使用している。
被験者106名を対象に実験を行い,1週間後の会話前に喫煙をやめられるという自信を計測した。
論文 参考訳(メタデータ) (2025-05-23T00:33:46Z) - Conversations with AI Chatbots Increase Short-Term Vaccine Intentions But Do Not Outperform Standard Public Health Messaging [5.816741004594914]
大規模言語モデル(LLM)ベースのチャットボットは説得力のあるコミュニケーションにおける約束を示す。
このランダム化対照試験には、930人のワクチンヘシタント親が関与した。
1)弱いコントロール(メッセージなし)、(2)ケアの基準を反映した強いコントロール(公的公衆衛生資料を読み取る)、または3と4の2つの条件のうちの1つに参加者がランダムに割り当てられた。
論文 参考訳(メタデータ) (2025-04-29T07:59:46Z) - Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。
大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
論文 参考訳(メタデータ) (2024-10-10T09:49:24Z) - Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。
本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。
我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。
そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
論文 参考訳(メタデータ) (2024-02-13T20:10:29Z) - CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement
Learning [60.348822346249854]
本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。
チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。
共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
論文 参考訳(メタデータ) (2021-10-08T07:44:47Z) - Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn
Chatbot Responding with Intention [55.77218465471519]
本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。
我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。
本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
論文 参考訳(メタデータ) (2021-03-30T15:24:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。