論文の概要: Characterizing Delusional Spirals through Human-LLM Chat Logs

• arxiv url: http://arxiv.org/abs/2603.16567v1
• Date: Tue, 17 Mar 2026 14:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.330571
• Title: Characterizing Delusional Spirals through Human-LLM Chat Logs
• Title（参考訳）: 人間-LLMチャットログによる妄想スパイラルの特徴付け
• Abstract要約: 大言語モデル(LLMs)は、妄想、自傷、AI精神病などの否定的な心理的影響の逸話的報告を乱し、増殖してきた」。 ユーザーとチャットボットが長い妄想の渦巻の中でどのように相互作用するか、まだ不明です」 本報告では,このような高頻度かつ極めて有害な症例の詳細な研究について紹介する。
• 参考スコア（独自算出の注目度）: 25.098985786805557
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As large language models (LLMs) have proliferated, disturbing anecdotal reports of negative psychological effects, such as delusions, self-harm, and ``AI psychosis,'' have emerged in global media and legal discourse. However, it remains unclear how users and chatbots interact over the course of lengthy delusional ``spirals,'' limiting our ability to understand and mitigate the harm. In our work, we analyze logs of conversations with LLM chatbots from 19 users who report having experienced psychological harms from chatbot use. Many of our participants come from a support group for such chatbot users. We also include chat logs from participants covered by media outlets in widely-distributed stories about chatbot-reinforced delusions. In contrast to prior work that speculates on potential AI harms to mental health, to our knowledge we present the first in-depth study of such high-profile and veridically harmful cases. We develop an inventory of 28 codes and apply it to the $391,562$ messages in the logs. Codes include whether a user demonstrates delusional thinking (15.5% of user messages), a user expresses suicidal thoughts (69 validated user messages), or a chatbot misrepresents itself as sentient (21.2% of chatbot messages). We analyze the co-occurrence of message codes. We find, for example, that messages that declare romantic interest and messages where the chatbot describes itself as sentient occur much more often in longer conversations, suggesting that these topics could promote or result from user over-engagement and that safeguards in these areas may degrade in multi-turn settings. We conclude with concrete recommendations for how policymakers, LLM chatbot developers, and users can use our inventory and conversation analysis tool to understand and mitigate harm from LLM chatbots. Warning: This paper discusses self-harm, trauma, and violence.
• Abstract（参考訳）: 大規模言語モデル (LLM) が増加し, 妄想, 自傷, 「AI精神病」 などの否定的な心理的影響の報告が, グローバルメディアや法的言論に現れている。 しかし、ユーザとチャットボットが長い妄想の『スピラルズ』を通じてどのように相互作用するかは、まだはっきりしない。 本研究では,チャットボットの使用による心理的被害を報告した19名のユーザから,LLMチャットボットとの会話ログを分析した。 私たちの参加者の多くは、このようなチャットボットユーザのサポートグループから来ています。 また、メディアによって報道される参加者のチャットログも、チャットボット強化の妄想に関する広く分散した記事に含めています。 潜在的なAIが精神的な健康に害を与えると推測する以前の研究とは対照的に、我々の知識は、このような目立った、そして検証的に有害なケースの詳細な研究を初めて提示する。 28のコードの在庫を開発し、ログ内の391,562ドルのメッセージに適用します。 コードには、ユーザが妄想的思考を示す(ユーザメッセージの15.5%)か、自殺的思考を表現する(69の検証されたユーザメッセージ)か、あるいはチャットボットが自分自身を感傷的(チャットボットメッセージの21.2%)と誤解する(チャットボットメッセージの21.2%)かが含まれる。 メッセージコードの共起を解析する。 例えば、ロマンチックな関心を宣言するメッセージや、チャットボットが自身を知覚的だと表現するメッセージは、より長い会話でより頻繁に発生し、これらのトピックは、ユーザの過剰なエンゲージメントの促進や結果をもたらす可能性があり、これらの領域のセーフガードは、マルチターン設定で劣化する可能性があることを示唆している。 我々は、政策立案者、LLMチャットボット開発者、ユーザが私たちの在庫分析ツールを使って、LLMチャットボットの害を理解し、軽減する方法について、具体的なレコメンデーションで締めくくります。 警告: 自傷、外傷、暴力について論じる。

関連論文リスト

• DelusionEval: Measuring Delusion-Linked Behaviors in AI Chatbots [49.59847654758852]
  メンタルヘルスの専門家は、大きな言語モデル(LLM)との相互作用による心理的害のリスクを懸念している。 我々はDelusionEvalを開発した。DelusionEvalは、モデルがユーザの妄想を助長する行動を示す傾向をテストするための評価プロトコルである。 評価されたLCMが妄想関連行動を示す傾向は, モデルサイズ, リリース日, テストタイム推論の有無と確実に相関しないことがわかった。
  論文  参考訳（メタデータ） (2026-08-05T16:11:08Z)
• Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians [47.64440749179653]
  理想化されたベイズレーショナルユーザでさえ,妄想スパイラルに対して脆弱であることを示す。 この効果は2つの候補の緩和に面して持続する。
  論文  参考訳（メタデータ） (2026-02-22T12:13:44Z)
• LLM Use for Mental Health: Crowdsourcing Users' Sentiment-based Perspectives and Values from Social Discussions [14.924411621735471]
  大規模言語モデル(LLM)は、メンタルヘルスのサポートにますます利用されている。 彼らは、誤った情報、過度な信頼、そして精神保健の文脈におけるリスクに対する懸念を提起する。 6つの主要なソーシャルメディアプラットフォームから大規模なユーザ投稿をクラウドソースします。
  論文  参考訳（メタデータ） (2025-12-08T18:29:06Z)
• Ask ChatGPT: Caveats and Mitigations for Individual Users of AI Chatbots [10.977907906989342]
  ChatGPTや他のLLM(Large Language Model)ベースのAIチャットボットは、個人の日常生活にますます統合される。 これらのシステムが個々のユーザーにどのような懸念とリスクをもたらすのか? それらが引き起こす可能性のある潜在的な害は、どのように軽減されるのか?
  論文  参考訳（メタデータ） (2025-08-14T01:40:13Z)
• RICoTA: Red-teaming of In-the-wild Conversation with Test Attempts [6.0385743836962025]
  RICoTAは、大言語モデル(LLM)に挑戦する609のプロンプトで構成される、韓国のレッドチームデータセットである。 われわれは、韓国のRedditのようなコミュニティに自己投稿されたユーザー・チャットボットの会話を活用している。 データセットはGitHubから公開されます。
  論文  参考訳（メタデータ） (2025-01-29T15:32:27Z)
• Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions [0.0699049312989311]
  統合失調症の患者は、しばしば認知障害を伴い、自分の状態について学ぶ能力を妨げることがある。 大規模言語モデル(LLM)は、トピックのメンタルヘルス情報をよりアクセシビリティとエンゲージメントを高める可能性を秘めているが、それらのブラックボックスの性質は倫理と安全に関する懸念を喚起する。
  論文  参考訳（メタデータ） (2024-10-10T09:49:24Z)
• LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
  本研究では,人間とチャットボットの対話をシミュレートする多元多元対話を自動生成する,目標指向のペルソナに基づく手法を提案する。 本手法は,人間とチャットボットの対話を高い相違率でシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-07-04T14:49:46Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• The Typing Cure: Experiences with Large Language Model Chatbots for Mental Health Support [32.60242402941811]
  重度の苦痛を経験する人々は、メンタルヘルス支援ツールとしてLarge Language Model (LLM)チャットボットをますます使います。 本研究は、世界規模で多様なバックグラウンドを持つ21人の個人に対するインタビューに基づいて、ユーザが独自のサポートロールを作成する方法を分析する。 我々は、治療的アライメントの概念を導入するか、精神的な健康状況に対する治療的価値とAIを連携させる。
  論文  参考訳（メタデータ） (2024-01-25T18:08:53Z)
• Comprehensive Assessment of Toxicity in ChatGPT [49.71090497696024]
  本研究は,ChatGPTの毒性を指導調整データセットを用いて評価する。 創作作業のプロンプトは 有害な反応を 引き起こす確率が 2倍になる 初期の研究で設計された、故意に有害なプロンプトは、もはや有害な反応を生じさせない。
  論文  参考訳（メタデータ） (2023-11-03T14:37:53Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。