論文の概要: Taming Toxic Talk: Using chatbots to intervene with users posting toxic comments

• arxiv url: http://arxiv.org/abs/2601.20100v1
• Date: Tue, 27 Jan 2026 22:39:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.684202
• Title: Taming Toxic Talk: Using chatbots to intervene with users posting toxic comments
• Title（参考訳）: Taming Toxic Talk: チャットボットを使って悪質なコメントを投稿するユーザーに干渉
• Authors: Jeremy Foote, Deepak Kumar, Bedadyuti Jha, Ryan Funkhouser, Loizos Bitsikokos, Hitesh Goel, Hsuen-Chi Chiu,
• Abstract要約: 有害コンテンツをオンラインで共有するユーザに対して、生成的AIチャットボットとのリハビリテーション的会話が与える影響について検討する。 7つのRedditコミュニティで大規模フィールド実験を行った。 コントロール群と比較して,来月は有毒な行動に有意な変化はみられなかった。
• 参考スコア（独自算出の注目度）: 3.1918086432069663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative AI chatbots have proven surprisingly effective at persuading people to change their beliefs and attitudes in lab settings. However, the practical implications of these findings are not yet clear. In this work, we explore the impact of rehabilitative conversations with generative AI chatbots on users who share toxic content online. Toxic behaviors -- like insults or threats of violence, are widespread in online communities. Strategies to deal with toxic behavior are typically punitive, such as removing content or banning users. Rehabilitative approaches are rarely attempted, in part due to the emotional and psychological cost of engaging with aggressive users. In collaboration with seven large Reddit communities, we conducted a large-scale field experiment (N=893) to invite people who had recently posted toxic content to participate in conversations with AI chatbots. A qualitative analysis of the conversations shows that many participants engaged in good faith and even expressed remorse or a desire to change. However, we did not observe a significant change in toxic behavior in the following month compared to a control group. We discuss possible explanations for our findings, as well as theoretical and practical implications based on our results.
• Abstract（参考訳）: 生成するAIチャットボットは、実験室の設定における信念や態度を変えるよう人々に説得するのに驚くほど効果的であることが証明されている。 しかし、これらの発見の実際的な意味は明らかになっていない。 本研究では,有害コンテンツをオンラインで共有するユーザに対して,生成型AIチャットボットとのリハビリテーション的会話が与える影響について検討する。 暴力の侮辱や脅しなど、有害な行動はオンラインコミュニティに広まっている。 有害な行動に対処する戦略は、典型的には、コンテンツを削除する、またはユーザーを禁止するといった罰である。 リハビリテーションのアプローチはめったに試みられず、その一部は攻撃的なユーザーと関わり合うための感情的、心理的なコストのためである。 7つのRedditコミュニティと共同で大規模なフィールド実験(N=893)を行い、最近有害なコンテンツを投稿した人たちを招待し、AIチャットボットとの会話に参加した。 会話の質的な分析は、多くの参加者が善意を尽くし、後悔や変化への欲求を表明していることを示している。 しかし, コントロール群と比較して来月は有毒な行動に有意な変化はみられなかった。 本研究は,本研究の成果に基づく理論的・実践的意味だけでなく,本研究の今後の展望について考察する。

関連論文リスト

• Analyzing Toxicity in Deep Conversations: A Reddit Case Study [0.0]
  この研究は、公開会話設定における毒性に関するユーザがどのように振る舞うかを理解するために、ツリーベースのアプローチを採用する。 Redditの8つのコミュニティから上位100件の投稿とコメントのセクションを収集し、100万件以上の回答を得た。 有毒なコメントは、その後の有毒なコメントがオンライン会話で生み出される可能性を高める。
  論文  参考訳（メタデータ） (2024-04-11T16:10:44Z)
• Comprehensive Assessment of Toxicity in ChatGPT [49.71090497696024]
  本研究は,ChatGPTの毒性を指導調整データセットを用いて評価する。 創作作業のプロンプトは 有害な反応を 引き起こす確率が 2倍になる 初期の研究で設計された、故意に有害なプロンプトは、もはや有害な反応を生じさせない。
  論文  参考訳（メタデータ） (2023-11-03T14:37:53Z)
• Understanding Multi-Turn Toxic Behaviors in Open-Domain Chatbots [8.763670548363443]
  新しい攻撃である毒物ボットは、多ターン会話において有毒な反応を生成するために開発された。 有害なボットは、産業と研究者の両方が会話における有害な反応を検出し緩和する方法を開発するために使用できる。
  論文  参考訳（メタデータ） (2023-07-14T03:58:42Z)
• Twitter Users' Behavioral Response to Toxic Replies [1.2387676601792899]
  我々は,Twitter上でのユーザのオンライン行動に及ぼす毒性の影響を検討した。 毒性の犠牲者は, 回避, 復讐, 対策, 交渉といった行動反応の組合せがみられた。 本研究は, ソーシャルメディア上での毒性の負の結果を低減するための, より効果的な検出・介入手法の開発において, さらなる研究を支援することができる。
  論文  参考訳（メタデータ） (2022-10-24T17:36:58Z)
• Why So Toxic? Measuring and Triggering Toxic Behavior in Open-Domain Chatbots [24.84440998820146]
  本稿では,チャットボットの毒性を定量的に測定する。 一般に利用可能なチャットボットは、有害なクエリを入力した場合、有害な応答を提供する傾向がある。 そこで我々は,GPT-2を微調整して非有害なクエリを生成する攻撃ToxicBuddyの設計と実験を行った。
  論文  参考訳（メタデータ） (2022-09-07T20:45:41Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。