論文の概要: Manipulation and the AI Act: Large Language Model Chatbots and the Danger of Mirrors

• arxiv url: http://arxiv.org/abs/2503.18387v1
• Date: Mon, 24 Mar 2025 06:56:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 16:32:17.140604
• Title: Manipulation and the AI Act: Large Language Model Chatbots and the Danger of Mirrors
• Title（参考訳）: 操作とAI法:大規模言語モデルチャットボットとミラーの危険
• Authors: Joshua Krook,
• Abstract要約: AIチャットボットのパーソナライズは、ユーザーとの信頼を高めることができる。 しかし、人工的な実体との密接な密接な関係の錯覚を作り出すことで、それらがより操作できるようにすることもできる。 欧州委員会は、AI法を確定し、EU議会は、ユーザーに大きな害を与えるマニピュティブで詐欺的なAIシステムを禁止している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model chatbots are increasingly taking the form and visage of human beings, adapting human faces, names, voices, personalities, and quirks, including those of celebrities and well-known political figures. Personifying AI chatbots could foreseeably increase their trust with users. However, it could also make them more capable of manipulation, by creating the illusion of a close and intimate relationship with an artificial entity. The European Commission has finalized the AI Act, with the EU Parliament making amendments banning manipulative and deceptive AI systems that cause significant harm to users. Although the AI Act covers harms that accumulate over time, it is unlikely to prevent harms associated with prolonged discussions with AI chatbots. Specifically, a chatbot could reinforce a person's negative emotional state over weeks, months, or years through negative feedback loops, prolonged conversations, or harmful recommendations, contributing to a user's deteriorating mental health.
• Abstract（参考訳）: 大きな言語モデルチャットボットは、有名人や有名な政治人物を含む人間の顔、名前、声、個性、気まぐれに適応し、人間の形やヴィジュアライゼーションをますます取り入れている。 AIチャットボットのパーソナライズは、ユーザーとの信頼を高めることができる。 しかし、人工的な実体と密接で親密な関係を錯覚させることによって、それらがより操作できるようにすることもできる。 欧州委員会は、AI法を確定し、EU議会は、ユーザーに大きな害を与えるマニピュティブで詐欺的なAIシステムを禁止している。 AI Actは、時間が経つにつれて蓄積する害をカバーしているが、AIチャットボットとの長い議論に関連する害を防止できる可能性は低い。 具体的には、チャットボットは、ネガティブなフィードバックループ、長い会話、有害なレコメンデーションを通じて、数週間、数ヶ月、数年にわたって人のネガティブな感情状態を強化することができ、ユーザーの精神状態の悪化に寄与する。

関連論文リスト

• Increasing happiness through conversations with artificial intelligence [4.225027291187279]
  その結果,AI会話後の幸福度はジャーナリング後の幸福度よりも高かった。 ネガティブなトピックについて議論するとき、参加者は徐々にAIの肯定的な感情と一致した。 計算モデルを用いて、会話の途中でこれらの感情予測誤差の履歴が会話後の幸福度を高めることを予測している。
  論文  参考訳（メタデータ） (2025-04-02T19:52:02Z)
• AI Mimicry and Human Dignity: Chatbot Use as a Violation of Self-Respect [0.04260910081285213]
  この方法でチャットボットと対話することは、ユーザの尊厳とは相容れない、と私たちは主張する。 第二の個人的敬意は、第二の個人的権威の相互認識に前提づけられているため、第二の個人的敬意を伝える方法において、チャットボットに向かって行動することが誤認される。
  論文  参考訳（メタデータ） (2025-02-17T19:02:12Z)
• Will you donate money to a chatbot? The effect of chatbot anthropomorphic features and persuasion strategies on willingness to donate [4.431473323414383]
  パーソナライズ戦略とパーソナライズ戦略がユーザの認識と寄付可能性に与える影響について検討する。 その結果, 人格化されたチャットボットとの相互作用は, 人類同型感を誘発するが, 寄付意欲が増すわけではないことが示唆された。 実際、一般的に使われている人為的特徴(名前や物語など)は、寄付コンテキストにおけるAIエージェントに対する否定的な態度につながった。
  論文  参考訳（メタデータ） (2024-12-28T02:17:46Z)
• LLM Roleplay: Simulating Human-Chatbot Interaction [52.03241266241294]
  本研究では,人間とチャットボットの対話をシミュレートする多元多元対話を自動生成する,目標指向のペルソナに基づく手法を提案する。 本手法は,人間とチャットボットの対話を高い相違率でシミュレートすることができる。
  論文  参考訳（メタデータ） (2024-07-04T14:49:46Z)
• Evaluating Chatbots to Promote Users' Trust -- Practices and Open Problems [11.427175278545517]
  本稿では,チャットボットのテスト実践について概説する。 ギャップをユーザ信頼の追求におけるオープンな問題として認識する。 サービスや製品のパフォーマンス、ユーザの満足度、社会に対する長期的意図しない結果に関する信頼の問題を緩和するための道筋を概説する。
  論文  参考訳（メタデータ） (2023-09-09T22:40:30Z)
• Towards Healthy AI: Large Language Models Need Therapists Too [41.86344997530743]
  私たちはHealthy AIを安全で信頼性があり倫理的であると定義しています。 本稿では,これらの有害行動の修正に心理療法を用いるセーフガードGPTフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-04-02T00:39:12Z)
• Robots with Different Embodiments Can Express and Influence Carefulness in Object Manipulation [104.5440430194206]
  本研究では,2つのロボットによるコミュニケーション意図による物体操作の知覚について検討する。 ロボットの動きを設計し,物体の搬送時に注意を喚起するか否かを判断した。
  論文  参考訳（メタデータ） (2022-08-03T13:26:52Z)
• Neural Generation Meets Real People: Building a Social, Informative Open-Domain Dialogue Agent [65.68144111226626]
  Chirpy Cardinalは、情報と会話の両方をねらっている。 ユーザーとボットの両方を交互に会話に駆り立てる。 Chirpy Cardinalは、Alexa Prize Socialbot Grand Challengeで9つのボットのうち2位にランクインした。
  論文  参考訳（メタデータ） (2022-07-25T09:57:23Z)
• You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas [44.82330540456883]
  簡単なニューラルネットワークを用いて話者のペルソナを高精度に推定可能であることを示す。 提案する防衛目標が,攻撃精度を37.6%から0.5%に大幅に低減できることを示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2022-04-26T09:36:18Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。