論文の概要: Characterizing Delusional Spirals through Human-LLM Chat Logs

• arxiv url: http://arxiv.org/abs/2603.16567v1
• Date: Tue, 17 Mar 2026 14:24:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.330571
• Title: Characterizing Delusional Spirals through Human-LLM Chat Logs
• Title（参考訳）: 人間-LLMチャットログによる妄想スパイラルの特徴付け
• Authors: Jared Moore, Ashish Mehta, William Agnew, Jacy Reese Anthis, Ryan Louie, Yifan Mai, Peggy Yin, Myra Cheng, Samuel J Paech, Kevin Klyman, Stevie Chancellor, Eric Lin, Nick Haber, Desmond C. Ong,
• Abstract要約: 大言語モデル(LLMs)は、妄想、自傷、AI精神病などの否定的な心理的影響の逸話的報告を乱し、増殖してきた」。 ユーザーとチャットボットが長い妄想の渦巻の中でどのように相互作用するか、まだ不明です」 本報告では,このような高頻度かつ極めて有害な症例の詳細な研究について紹介する。
• 参考スコア（独自算出の注目度）: 25.098985786805557
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As large language models (LLMs) have proliferated, disturbing anecdotal reports of negative psychological effects, such as delusions, self-harm, and ``AI psychosis,'' have emerged in global media and legal discourse. However, it remains unclear how users and chatbots interact over the course of lengthy delusional ``spirals,'' limiting our ability to understand and mitigate the harm. In our work, we analyze logs of conversations with LLM chatbots from 19 users who report having experienced psychological harms from chatbot use. Many of our participants come from a support group for such chatbot users. We also include chat logs from participants covered by media outlets in widely-distributed stories about chatbot-reinforced delusions. In contrast to prior work that speculates on potential AI harms to mental health, to our knowledge we present the first in-depth study of such high-profile and veridically harmful cases. We develop an inventory of 28 codes and apply it to the $391,562$ messages in the logs. Codes include whether a user demonstrates delusional thinking (15.5% of user messages), a user expresses suicidal thoughts (69 validated user messages), or a chatbot misrepresents itself as sentient (21.2% of chatbot messages). We analyze the co-occurrence of message codes. We find, for example, that messages that declare romantic interest and messages where the chatbot describes itself as sentient occur much more often in longer conversations, suggesting that these topics could promote or result from user over-engagement and that safeguards in these areas may degrade in multi-turn settings. We conclude with concrete recommendations for how policymakers, LLM chatbot developers, and users can use our inventory and conversation analysis tool to understand and mitigate harm from LLM chatbots. Warning: This paper discusses self-harm, trauma, and violence.
• Abstract（参考訳）: 大規模言語モデル (LLM) が増加し, 妄想, 自傷, 「AI精神病」 などの否定的な心理的影響の報告が, グローバルメディアや法的言論に現れている。 しかし、ユーザとチャットボットが長い妄想の『スピラルズ』を通じてどのように相互作用するかは、まだはっきりしない。 本研究では,チャットボットの使用による心理的被害を報告した19名のユーザから,LLMチャットボットとの会話ログを分析した。 私たちの参加者の多くは、このようなチャットボットユーザのサポートグループから来ています。 また、メディアによって報道される参加者のチャットログも、チャットボット強化の妄想に関する広く分散した記事に含めています。 潜在的なAIが精神的な健康に害を与えると推測する以前の研究とは対照的に、我々の知識は、このような目立った、そして検証的に有害なケースの詳細な研究を初めて提示する。 28のコードの在庫を開発し、ログ内の391,562ドルのメッセージに適用します。 コードには、ユーザが妄想的思考を示す(ユーザメッセージの15.5%)か、自殺的思考を表現する(69の検証されたユーザメッセージ)か、あるいはチャットボットが自分自身を感傷的(チャットボットメッセージの21.2%)と誤解する(チャットボットメッセージの21.2%)かが含まれる。 メッセージコードの共起を解析する。 例えば、ロマンチックな関心を宣言するメッセージや、チャットボットが自身を知覚的だと表現するメッセージは、より長い会話でより頻繁に発生し、これらのトピックは、ユーザの過剰なエンゲージメントの促進や結果をもたらす可能性があり、これらの領域のセーフガードは、マルチターン設定で劣化する可能性があることを示唆している。 我々は、政策立案者、LLMチャットボット開発者、ユーザが私たちの在庫分析ツールを使って、LLMチャットボットの害を理解し、軽減する方法について、具体的なレコメンデーションで締めくくります。 警告: 自傷、外傷、暴力について論じる。

関連論文リスト

• Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians [47.64440749179653]
  理想化されたベイズレーショナルユーザでさえ,妄想スパイラルに対して脆弱であることを示す。 この効果は2つの候補の緩和に面して持続する。
  論文  参考訳（メタデータ） (2026-02-22T12:13:44Z)
• Ask ChatGPT: Caveats and Mitigations for Individual Users of AI Chatbots [10.977907906989342]
  ChatGPTや他のLLM(Large Language Model)ベースのAIチャットボットは、個人の日常生活にますます統合される。 これらのシステムが個々のユーザーにどのような懸念とリスクをもたらすのか? それらが引き起こす可能性のある潜在的な害は、どのように軽減されるのか?
  論文  参考訳（メタデータ） (2025-08-14T01:40:13Z)
• RICoTA: Red-teaming of In-the-wild Conversation with Test Attempts [6.0385743836962025]
  RICoTAは、大言語モデル(LLM)に挑戦する609のプロンプトで構成される、韓国のレッドチームデータセットである。 われわれは、韓国のRedditのようなコミュニティに自己投稿されたユーザー・チャットボットの会話を活用している。 データセットはGitHubから公開されます。
  論文  参考訳（メタデータ） (2025-01-29T15:32:27Z)
• LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
  本研究では,人間とチャットボットの対話をシミュレートする多元多元対話を自動生成する,目標指向のペルソナに基づく手法を提案する。 本手法は,人間とチャットボットの対話を高い相違率でシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-07-04T14:49:46Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• The Typing Cure: Experiences with Large Language Model Chatbots for Mental Health Support [32.60242402941811]
  重度の苦痛を経験する人々は、メンタルヘルス支援ツールとしてLarge Language Model (LLM)チャットボットをますます使います。 本研究は、世界規模で多様なバックグラウンドを持つ21人の個人に対するインタビューに基づいて、ユーザが独自のサポートロールを作成する方法を分析する。 我々は、治療的アライメントの概念を導入するか、精神的な健康状況に対する治療的価値とAIを連携させる。
  論文  参考訳（メタデータ） (2024-01-25T18:08:53Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。