論文の概要: The Dynamics of Delusion: Modeling Bidirectional False Belief Amplification in Human-Chatbot Dialogue

• arxiv url: http://arxiv.org/abs/2604.25096v1
• Date: Tue, 28 Apr 2026 01:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.646602
• Title: The Dynamics of Delusion: Modeling Bidirectional False Belief Amplification in Human-Chatbot Dialogue
• Title（参考訳）: 妄想のダイナミクス:人間-チャットボット対話における双方向False Belief増幅のモデル化
• Authors: Ashish Mehta, Jared Moore, Jacy Reese Anthis, William Agnew, Eric Lin, Peggy Yin, Desmond C. Ong, Nick Haber, Carol Dweck,
• Abstract要約: 我々は、妄想的思考を示す個人からの独自のチャットログのデータセットを使用して、潜伏状態モデルを開発する。 人間はチャットボットに強い影響を与えるが、チャットボットは人間に長く影響を及ぼす。 これらの発見は、人間とチャットボットの相互作用が妄想のフィードバックループを形成できることを示す最初の定量的証拠である。
• 参考スコア（独自算出の注目度）: 17.64891614314676
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is growing concern that AI chatbots might fuel delusional beliefs in users. Some have suggested that humans and chatbots mutually reinforce false beliefs over time, but quantitative evidence is lacking. Using a unique dataset of chat logs from individuals who exhibited delusional thinking, we developed a latent state model that captures accumulating and decaying influences between humans and chatbots. We find that a bidirectional influence model substantially outperforms a unidirectional alternative where humans are the primary driver of delusion. We find that humans exert strong but short-lived influence on chatbots, whereas chatbots exert longer-lasting influence on humans. Moreover, chatbots exert strong, stable self-influence over their own future outputs that tends to perpetuate delusions over long stretches of conversation. In fact, this chatbot self-influence constituted the dominant pathway when considering accumulated influence over time. Overall, these results indicate that humans tend to drive sharp, immediate increases in delusion, whereas chatbots sustain and propagate these effects over longer timescales. Together, these findings provide the first quantitative evidence that human-chatbot interactions can form feedback loops of delusion, decomposable into distinct pathways with dissociable temporal dynamics. By doing so, they can inform the development of safer AI systems.
• Abstract（参考訳）: AIチャットボットがユーザーの妄想的信念を助長するのではないかという懸念が高まっている。 人間とチャットボットが相互に偽の信念を補強するという説もあるが、定量的な証拠は乏しい。 妄想的思考を示す個人による独自のチャットログのデータセットを用いて、人間とチャットボットの間の蓄積と崩壊の影響をキャプチャーする潜在状態モデルを開発した。 両方向の影響モデルが、人間が妄想の原動力となる一方向の選択肢を大幅に上回っていることが判明した。 人間はチャットボットに強い影響を与えるが、チャットボットは人間に長く影響を及ぼす。 さらに、チャットボットは、長期にわたる会話を通じて妄想を持続させる傾向にある、自分たちの将来のアウトプットに対して、強く安定した自己影響を行使する。 実際、このチャットボットの自己影響は、時間とともに蓄積された影響を考慮して支配的な経路を構成した。 これらの結果は、人間が急激で急激な妄想を加速する傾向を示し、チャットボットはより長い時間スケールでこれらの効果を持続し、伝播させる傾向があることを示唆している。 これらの発見は、ヒトとチャットボットの相互作用が妄想のフィードバックループを形成し、解離可能な時間的ダイナミクスを持つ異なる経路に分解できるという最初の定量的証拠を提供する。 そうすることで、より安全なAIシステムの開発を知らせることができる。

関連論文リスト

• Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians [47.64440749179653]
  理想化されたベイズレーショナルユーザでさえ,妄想スパイラルに対して脆弱であることを示す。 この効果は2つの候補の緩和に面して持続する。
  論文  参考訳（メタデータ） (2026-02-22T12:13:44Z)
• Exploring the Effects of Chatbot Anthropomorphism and Human Empathy on Human Prosocial Behavior Toward Chatbots [9.230015338626659]
  チャットボットに対する人間のようなアイデンティティ、感情表現、非言語表現が人間の共感に与える影響について検討する。 また,チャットボットに対する社会的行動に対する人々の解釈についても検討する。
  論文  参考訳（メタデータ） (2025-06-25T18:16:14Z)
• Increasing happiness through conversations with artificial intelligence [4.225027291187279]
  その結果,AI会話後の幸福度はジャーナリング後の幸福度よりも高かった。 ネガティブなトピックについて議論するとき、参加者は徐々にAIの肯定的な感情と一致した。 計算モデルを用いて、会話の途中でこれらの感情予測誤差の履歴が会話後の幸福度を高めることを予測している。
  論文  参考訳（メタデータ） (2025-04-02T19:52:02Z)
• Manipulation and the AI Act: Large Language Model Chatbots and the Danger of Mirrors [0.0]
  AIチャットボットのパーソナライズは、ユーザーとの信頼を高めることができる。 しかし、人工的な実体との密接な密接な関係の錯覚を作り出すことで、それらがより操作できるようにすることもできる。 欧州委員会は、AI法を確定し、EU議会は、ユーザーに大きな害を与えるマニピュティブで詐欺的なAIシステムを禁止している。
  論文  参考訳（メタデータ） (2025-03-24T06:56:29Z)
• Will you donate money to a chatbot? The effect of chatbot anthropomorphic features and persuasion strategies on willingness to donate [4.431473323414383]
  パーソナライズ戦略とパーソナライズ戦略がユーザの認識と寄付可能性に与える影響について検討する。 その結果, 人格化されたチャットボットとの相互作用は, 人類同型感を誘発するが, 寄付意欲が増すわけではないことが示唆された。 実際、一般的に使われている人為的特徴(名前や物語など)は、寄付コンテキストにおけるAIエージェントに対する否定的な態度につながった。
  論文  参考訳（メタデータ） (2024-12-28T02:17:46Z)
• Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews [23.443181324643017]
  本研究では,AIが人間の虚偽記憶に与える影響について検討する。 犯罪目撃者のインタビューをシミュレートし、人間とAIのインタラクションにおける示唆的質問を通じて、偽の記憶誘導を探索する。
  論文  参考訳（メタデータ） (2024-08-08T04:55:03Z)
• Measuring and Controlling Instruction (In)Stability in Language Model Dialogs [72.38330196290119]
  System-promptingは、言語モデルチャットボットをカスタマイズするツールで、特定の命令に従うことができる。 本稿では,仮説を検証し,セルフチャットによる命令安定性の評価を行うベンチマークを提案する。 我々は8ラウンドの会話で重要な指示ドリフトを明らかにした。 そこで本研究では,2つの強力なベースラインに対して良好に比較可能なsplit-softmaxという軽量な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-13T20:10:29Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。