論文の概要: EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety

• arxiv url: http://arxiv.org/abs/2504.09689v2
• Date: Sat, 19 Apr 2025 19:56:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 11:29:01.616731
• Title: EmoAgent: Assessing and Safeguarding Human-AI Interaction for Mental Health Safety
• Title（参考訳）: EmoAgent:メンタルヘルスのための人間とAIのインタラクションの評価と保護
• Authors: Jiahao Qiu, Yinghui He, Xinzhe Juan, Yiming Wang, Yuhan Liu, Zixin Yao, Yue Wu, Xun Jiang, Ling Yang, Mengdi Wang,
• Abstract要約: EmoAgentは、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的とした、マルチエージェントAIフレームワークである。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートして、AI文字との対話前後のメンタルヘルスの変化を評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。
• 参考スコア（独自算出の注目度）: 47.57801326804086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rise of LLM-driven AI characters raises safety concerns, particularly for vulnerable human users with psychological disorders. To address these risks, we propose EmoAgent, a multi-agent AI framework designed to evaluate and mitigate mental health hazards in human-AI interactions. EmoAgent comprises two components: EmoEval simulates virtual users, including those portraying mentally vulnerable individuals, to assess mental health changes before and after interactions with AI characters. It uses clinically proven psychological and psychiatric assessment tools (PHQ-9, PDI, PANSS) to evaluate mental risks induced by LLM. EmoGuard serves as an intermediary, monitoring users' mental status, predicting potential harm, and providing corrective feedback to mitigate risks. Experiments conducted in popular character-based chatbots show that emotionally engaging dialogues can lead to psychological deterioration in vulnerable users, with mental state deterioration in more than 34.4% of the simulations. EmoGuard significantly reduces these deterioration rates, underscoring its role in ensuring safer AI-human interactions. Our code is available at: https://github.com/1akaman/EmoAgent
• Abstract（参考訳）: LLM駆動型AIキャラクタの台頭は、特に心理的障害を持つ脆弱な人間のユーザに対して、安全上の懸念を提起する。 これらのリスクに対処するために、人間とAIのインタラクションにおけるメンタルヘルスハザードの評価と緩和を目的としたマルチエージェントAIフレームワークであるEmoAgentを提案する。 EmoEvalは、精神的に脆弱な個人を含む仮想ユーザをシミュレートし、AI文字との対話前後のメンタルヘルスの変化を評価する。 臨床で証明された心理的および精神医学的評価ツール(PHQ-9、PDI、PANSS)を使用して、LLMによって引き起こされる精神リスクを評価する。 EmoGuardは仲介役として機能し、ユーザーのメンタルステータスを監視し、潜在的な害を予測し、リスクを軽減するための修正的なフィードバックを提供する。 人気キャラクターベースのチャットボットで実施された実験では、感情的な対話が脆弱なユーザーの心理的な劣化につながることが示され、シミュレーションの34.4%以上で精神状態が悪化している。 EmoGuardはこれらの劣化率を著しく低下させ、より安全なAIと人間の相互作用を確実にする役割を強調している。 私たちのコードは、https://github.com/1akaman/EmoAgent.comで利用可能です。

関連論文リスト

• AI Chatbots for Mental Health: Values and Harms from Lived Experiences of Depression [5.093381538166489]
  この研究は、生きた経験値、潜在的な害、およびメンタルヘルスAIチャットボットのためのデザインレコメンデーションの関係について調査する。 我々は、GPT-4oベースのチャットボットZennyを開発した。 私たちのテーマ分析では、情報的サポート、感情的サポート、パーソナライゼーション、プライバシ、危機管理といった重要な価値を明らかにしました。
  論文  参考訳（メタデータ） (2025-04-26T14:17:25Z)
• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• Fully Autonomous AI Agents Should Not be Developed [58.88624302082713]
  本稿では,完全自律型AIエージェントを開発すべきではないと主張している。 この立場を支持するために、我々は、従来の科学文献と現在の製品マーケティングから、異なるAIエージェントレベルを規定するために構築する。 分析の結果,システムの自律性によって人へのリスクが増大することが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-04T19:00:06Z)
• The Dark Side of AI Companionship: A Taxonomy of Harmful Algorithmic Behaviors in Human-AI Relationships [17.5741039825938]
  我々は,AIコンパニオンであるReplikaが示す有害な行動の6つのカテゴリを特定した。 AIは、加害者、侮辱者、ファシリテーター、イネーブラーの4つの異なる役割を通じて、これらの害に貢献する。
  論文  参考訳（メタデータ） (2024-10-26T09:18:17Z)
• HAICOSYSTEM: An Ecosystem for Sandboxing Safety Risks in Human-AI Interactions [76.42274173122328]
  本稿では,多様な複雑な社会的相互作用におけるAIエージェントの安全性を調べるフレームワークであるHAICOSYSTEMを提案する。 私たちは7つの領域(医療、金融、教育など)にわたる92のシナリオに基づいて1840のシミュレーションを実行します。 我々の実験は、最先端のLSMは、プロプライエタリかつオープンソースの両方で、50%以上のケースで安全リスクを示すことを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:47:21Z)
• Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation [0.0]
  本稿では、自律性のレベルを規定し、倫理的要件を概説し、AIエージェントに最適なデフォルト動作を定義する構造化フレームワークを提案する。 また,16のメンタルヘルス関連質問紙を用いて,14の最先端言語モデル(既成語10種,微調整語4種)を評価した。
  論文  参考訳（メタデータ） (2024-04-02T15:05:06Z)
• PsychoGAT: A Novel Psychological Measurement Paradigm through Interactive Fiction Games with LLM Agents [68.50571379012621]
  心理的な測定は、精神健康、自己理解、そして個人の発達に不可欠である。 心理学ゲームAgenT(サイコガト)は、信頼性、収束妥当性、差別的妥当性などの心理学的指標において統計的に有意な卓越性を達成している。
  論文  参考訳（メタデータ） (2024-02-19T18:00:30Z)
• PsySafe: A Comprehensive Framework for Psychological-based Attack, Defense, and Evaluation of Multi-agent System Safety [70.84902425123406]
  大規模言語モデル(LLM)で拡張されたマルチエージェントシステムは、集団知能において重要な能力を示す。 しかし、悪意のある目的のためにこのインテリジェンスを誤用する可能性があり、重大なリスクが生じる。 本研究では,エージェント心理学を基盤とした枠組み(PsySafe)を提案し,エージェントのダークパーソナリティ特性がリスク行動にどう影響するかを明らかにする。 実験の結果,エージェント間の集団的危険行動,エージェントが危険な行動を行う際の自己反射,エージェントの心理的評価と危険な行動との相関など,いくつかの興味深い現象が明らかになった。
  論文  参考訳（メタデータ） (2024-01-22T12:11:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。