論文の概要: Understanding Risk and Dependency in AI Chatbot Use from User Discourse
- arxiv url: http://arxiv.org/abs/2602.09339v1
- Date: Tue, 10 Feb 2026 02:16:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-11 20:17:43.32983
- Title: Understanding Risk and Dependency in AI Chatbot Use from User Discourse
- Title（参考訳）: ユーザ談話を用いたAIチャットボットのリスクと依存性の理解
- Authors: Jianfeng Zhu, Karin G. Coifman, Ruoming Jin,
- Abstract要約: 本稿では,2023年から2025年にかけての2つのコミュニティ,r/AIDangers と r/ChatbotAddiction から収集したポストを大規模に解析した。
14の反復的主題カテゴリーを同定し、5つの高次経験次元に合成する。
この結果から,実世界のユーザ談話に基礎を置くAI関連心理的リスクの5つの経験的次元が明らかとなった。
- 参考スコア（独自算出の注目度）: 4.1957094635667875
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI systems are increasingly embedded in everyday life, yet empirical understanding of how psychological risk associated with AI use emerges, is experienced, and is regulated by users remains limited. We present a large-scale computational thematic analysis of posts collected between 2023 and 2025 from two Reddit communities, r/AIDangers and r/ChatbotAddiction, explicitly focused on AI-related harm and distress. Using a multi-agent, LLM-assisted thematic analysis grounded in Braun and Clarke's reflexive framework, we identify 14 recurring thematic categories and synthesize them into five higher-order experiential dimensions. To further characterize affective patterns, we apply emotion labeling using a BERT-based classifier and visualize emotional profiles across dimensions. Our findings reveal five empirically derived experiential dimensions of AI-related psychological risk grounded in real-world user discourse, with self-regulation difficulties emerging as the most prevalent and fear concentrated in concerns related to autonomy, control, and technical risk. These results provide early empirical evidence from lived user experience of how AI safety is perceived and emotionally experienced outside laboratory or speculative contexts, offering a foundation for future AI safety research, evaluation, and responsible governance.
- Abstract（参考訳）: 生成的AIシステムは日々の生活にますます浸透しているが、AIの使用に関連する心理的リスクが出現し、経験され、ユーザによって規制されている経験的理解は依然として限られている。
我々は、2023年から2025年の間にRedditの2つのコミュニティ、r/AIDangersとr/ChatbotAddictionから収集された投稿を、AI関連の害と苦痛に焦点を当てた大規模に計算論的に解析した。
ブラウンとクラークの反射フレームワークを基盤とした多エージェントLLM支援テーマ解析を用いて,14の反復的主題カテゴリーを同定し,それらを5つの高次経験次元に合成する。
感情パターンを更に特徴付けるために,BERTベースの分類器を用いて感情ラベリングを行い,各次元にまたがる感情プロファイルを可視化する。
以上の結果から,自律性,制御性,技術的リスクに関する懸念に重きを置き,自己統制の困難が顕在化し,現実のユーザ談話に根ざした,AI関連の心理的リスクを経験的に引き起こした5つの経験的側面が明らかになった。
これらの結果は、AIの安全性がどのように認識され、実験室や投機的な文脈で感情的に経験されているかについて、生きたユーザー体験から初期の実証的な証拠を提供し、将来のAIの安全性研究、評価、責任あるガバナンスの基礎を提供する。
関連論文リスト
- Assessing Risks of Large Language Models in Mental Health Support: A Framework for Automated Clinical AI Red Teaming [23.573537738272595]
本稿では,AI心理療法士と認知影響モデルを備えた模擬患者エージェントを併用する評価フレームワークを提案する。
我々は、この枠組みを6つのAIエージェントを評価する、高インパクトなテストケースであるアルコール使用障害に適用する。
大規模なシミュレーションでは、メンタルヘルス支援にAIを使用する場合、重大な安全性のギャップが明らかになっている。
論文 参考訳（メタデータ） (2026-02-23T15:17:18Z) - AI Deception: Risks, Dynamics, and Controls [153.71048309527225]
このプロジェクトは、AI偽装分野の包括的で最新の概要を提供する。
我々は、動物の偽装の研究からシグナル伝達理論に基づく、AI偽装の正式な定義を同定する。
我々は,AI偽装研究の展望を,偽装発生と偽装処理の2つの主要な構成要素からなる偽装サイクルとして整理する。
論文 参考訳（メタデータ） (2025-11-27T16:56:04Z) - Towards Emotionally Intelligent and Responsible Reinforcement Learning [0.40719854602160227]
本稿では,感情的・文脈的理解と倫理的考察を統合したレスポンシブル強化学習フレームワークを提案する。
本稿では,短期的行動参加と長期的ユーザの幸福感のバランスをとる多目的報酬関数を提案する。
本稿では, 行動保健, 教育, デジタル治療など人間中心の領域におけるこのアプローチの意義について論じる。
論文 参考訳（メタデータ） (2025-11-13T18:09:37Z) - Mental Health Impacts of AI Companions: Triangulating Social Media Quasi-Experiments, User Perspectives, and Relational Theory [18.716972390545703]
我々は,AICCがウェルビーイングをどのように形成し,ユーザがこれらの経験をどう感じたかを検討した。
発見は、感情と悲しみの表現、読みやすさ、対人的な焦点の混合効果を示した。
私たちは、健全なバウンダリを把握し、マインドフルエンゲージメントをサポートし、依存のない開示をサポートし、表面的な関係ステージを持つAIコンパニオンに対して、設計上の意味を提供する。
論文 参考訳（メタデータ） (2025-09-26T15:47:37Z) - ANNIE: Be Careful of Your Robots [48.89876809734855]
エンボディドAIシステムに対する敵の安全攻撃に関する最初の体系的研究について述べる。
すべての安全カテゴリーで攻撃の成功率は50%を超えている。
結果は、実証済みのAIシステムにおいて、これまで未調査だったが、非常に連続的な攻撃面を露呈する。
論文 参考訳（メタデータ） (2025-09-03T15:00:28Z) - Feeling Machines: Ethics, Culture, and the Rise of Emotional AI [18.212492056071657]
本稿では,批判的・学際的なレンズによる感情応答型人工知能の存在感の高まりについて考察する。
それは、人間の感情をシミュレートし、解釈するAIシステムが、教育、医療、メンタルヘルス、介護、デジタルライフなどの分野における私たちのインタラクションをどう変えているかを探求する。
この分析は、感情的AIの倫理的意味、人間と機械の相互作用の文化的ダイナミクス、脆弱な人口のリスクと機会、そして新たな規制、設計、技術的考察の4つの中心的なテーマに基づいて構成されている。
論文 参考訳（メタデータ） (2025-06-14T10:28:26Z) - From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents [21.66189033227397]
我々の研究は、個人の生きた経験を通して収集されたAIを使用することの心理的リスクに焦点を当てた、新しいリスク分類を提示する。
我々の分類学は、19のAI行動、21のネガティブな心理的影響、および個人に関連する15の文脈を特徴としている。
論文 参考訳（メタデータ） (2024-12-10T22:31:29Z) - Imagining and building wise machines: The centrality of AI metacognition [78.76893632793497]
我々は人間の知恵について知られているものを調べ、そのAIのビジョンをスケッチする。
AIシステムは特にメタ認知に苦しむ。
スマートAIのベンチマーク、トレーニング、実装について論じる。
論文 参考訳（メタデータ） (2024-11-04T18:10:10Z) - HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [95.49509269498367]
本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。
私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。
我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
論文 参考訳（メタデータ） (2024-09-24T19:47:21Z) - Enabling High-Level Machine Reasoning with Cognitive Neuro-Symbolic
Systems [67.01132165581667]
本稿では,認知アーキテクチャを外部のニューロシンボリックコンポーネントと統合することにより,AIシステムにおける高レベル推論を実現することを提案する。
本稿では,ACT-Rを中心としたハイブリッドフレームワークについて紹介し,最近の応用における生成モデルの役割について論じる。
論文 参考訳（メタデータ） (2023-11-13T21:20:17Z) - Adversarial Interaction Attack: Fooling AI to Misinterpret Human
Intentions [46.87576410532481]
現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。
骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。
本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
論文 参考訳（メタデータ） (2021-01-17T16:23:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。