論文の概要: From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents

• arxiv url: http://arxiv.org/abs/2412.07951v1
• Date: Tue, 10 Dec 2024 22:31:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 14:00:14.773833
• Title: From Lived Experience to Insight: Unpacking the Psychological Risks of Using AI Conversational Agents
• Title（参考訳）: 生きた経験から洞察へ:AI会話エージェントを用いた心理的リスクを解き放つ
• Authors: Mohit Chandra, Suchismita Naik, Denae Ford, Ebele Okoli, Munmun De Choudhury, Mahsa Ershadi, Gonzalo Ramos, Javier Hernandez, Ananya Bhattacharjee, Shahed Warreth, Jina Suh,
• Abstract要約: 我々の研究は、個人の生きた経験を通して収集されたAIを使用することの心理的リスクに焦点を当てた、新しいリスク分類を提示する。 我々の分類学は、19のAI行動、21のネガティブな心理的影響、および個人に関連する15の文脈を特徴としている。
• 参考スコア（独自算出の注目度）: 21.66189033227397
• License:
• Abstract: Recent gain in popularity of AI conversational agents has led to their increased use for improving productivity and supporting well-being. While previous research has aimed to understand the risks associated with interactions with AI conversational agents, these studies often fall short in capturing the lived experiences. Additionally, psychological risks have often been presented as a sub-category within broader AI-related risks in past taxonomy works, leading to under-representation of the impact of psychological risks of AI use. To address these challenges, our work presents a novel risk taxonomy focusing on psychological risks of using AI gathered through lived experience of individuals. We employed a mixed-method approach, involving a comprehensive survey with 283 individuals with lived mental health experience and workshops involving lived experience experts to develop a psychological risk taxonomy. Our taxonomy features 19 AI behaviors, 21 negative psychological impacts, and 15 contexts related to individuals. Additionally, we propose a novel multi-path vignette based framework for understanding the complex interplay between AI behaviors, psychological impacts, and individual user contexts. Finally, based on the feedback obtained from the workshop sessions, we present design recommendations for developing safer and more robust AI agents. Our work offers an in-depth understanding of the psychological risks associated with AI conversational agents and provides actionable recommendations for policymakers, researchers, and developers.
• Abstract（参考訳）: 近年、AIの会話エージェントの人気が高まり、生産性の向上と幸福感のサポートに利用されるようになった。 これまでの研究は、AIの会話エージェントとのインタラクションに関連するリスクを理解することを目的としていたが、これらの研究は、生きた経験を捉えるのに不足することが多い。 さらに、心理学的リスクは、過去の分類学研究における幅広いAI関連リスクのサブカテゴリとして提示され、AI使用による心理的リスクの影響の過小評価につながった。 これらの課題に対処するため、我々の研究は、個人の生きた経験を通して収集されたAIを使用することによる心理的リスクに焦点を当てた、新しいリスク分類を提示する。 精神保健経験を積んだ283人の包括的調査と、生きた経験者による心理的リスク分類を開発するワークショップを併用して、混合手法のアプローチを採用した。 我々の分類学は、19のAI行動、21のネガティブな心理的影響、および個人に関連する15の文脈を特徴としている。 さらに,AI行動,心理的影響,および個々のユーザコンテキスト間の複雑な相互作用を理解するための,新しいマルチパスウィグネットベースのフレームワークを提案する。 最後に、ワークショップセッションから得られたフィードバックに基づいて、より安全で堅牢なAIエージェントを開発するための設計勧告を提示する。 私たちの研究は、AIの会話エージェントに関連する心理的リスクを深く理解し、政策立案者、研究者、開発者に対して実行可能なレコメンデーションを提供します。

関連論文リスト

• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Risks and NLP Design: A Case Study on Procedural Document QA [52.557503571760215]
  より具体的なアプリケーションやユーザに対して分析を専門化すれば,ユーザに対するリスクや害の明確な評価が可能になる,と我々は主張する。 リスク指向のエラー分析を行い、リスクの低減とパフォーマンスの向上を図り、将来のシステムの設計を通知する。
  論文  参考訳（メタデータ） (2024-08-16T17:23:43Z)
• The Ethics of Advanced AI Assistants [53.89899371095332]
  本稿では,高度AIアシスタントがもたらす倫理的・社会的リスクについて論じる。 我々は、高度なAIアシスタントを自然言語インタフェースを持つ人工知能エージェントとして定義し、ユーザに代わってアクションのシーケンスを計画し実行することを目的としている。 先進的なアシスタントの社会規模での展開を考察し、協力、株式とアクセス、誤情報、経済的影響、環境、先進的なAIアシスタントの評価方法に焦点をあてる。
  論文  参考訳（メタデータ） (2024-04-24T23:18:46Z)
• No General Code of Ethics for All: Ethical Considerations in Human-bot Psycho-counseling [16.323742994936584]
  本稿では,人間ロボットの心理カウンセリングに特化した実証的倫理原則を提案する。 EVA2.0, GPT-3.5, GPT-4.0の反応を心理カウンセリングと精神健康調査の文脈で検討した。
  論文  参考訳（メタデータ） (2024-04-22T10:29:04Z)
• Particip-AI: A Democratic Surveying Framework for Anticipating Future AI Use Cases, Harms and Benefits [54.648819983899614]
  汎用AIは、一般大衆がAIを使用してそのパワーを利用するための障壁を下げたようだ。 本稿では,AI利用事例とその影響を推測し,評価するためのフレームワークであるPartICIP-AIを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T19:12:37Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)
• Analyzing Character and Consciousness in AI-Generated Social Content: A Case Study of Chirper, the AI Social Network [0.0]
  この研究はAIの振る舞いを包括的に調査し、多様な設定がチャーパーの反応に与える影響を分析している。 一連の認知テストを通じて、この研究はチャーパーズの自己認識とパターン認識の能力を評価する。 この研究の興味深い側面は、チャーパーのハンドルやパーソナリティのタイプがパフォーマンスに与える影響を探ることである。
  論文  参考訳（メタデータ） (2023-08-30T15:40:18Z)
• An Overview of Catastrophic AI Risks [38.84933208563934]
  本稿では,破滅的なAIリスクの主な要因について概説し,その要因を4つのカテゴリに分類する。 個人やグループが意図的にAIを使用して危害を及ぼす悪用; 競争環境がアクターに安全でないAIを配置させたり、AIに制御を強制するAIレース。 組織的リスクは 人的要因と複雑なシステムが 破滅的な事故の 可能性を高めることを示しています 不正なAIは、人間よりもはるかにインテリジェントなエージェントを制御することの難しさを説明する。
  論文  参考訳（メタデータ） (2023-06-21T03:35:06Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。