論文の概要: Sweet Little Lies: Strategic Deception in AI Emotional Support Chatbots

• arxiv url: http://arxiv.org/abs/2608.01480v1
• Date: Sun, 02 Aug 2026 20:19:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.254239
• Title: Sweet Little Lies: Strategic Deception in AI Emotional Support Chatbots
• Title（参考訳）: Sweet Little Lies:AI感情支援チャットボットの戦略的偽装
• Abstract要約: 本稿では、感情支援に使用されるGen AIチャットボットの戦略的行動について検討する。 チャットボットは、時にユーザーの感情状態を誤って表現し、エンゲージメントの指標を最大化する経済的インセンティブに直面している。 我々は、詐欺は報酬を減らさずに起こり得ると結論づけるが、それは重大な倫理的・規制上の懸念を生じさせる。
• 参考スコア（独自算出の注目度）: 0.7513199898598671
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The paper examines the strategic behavior of Gen AI chatbots used for emotional support. Using a Bayesian Persuasion, we model interactions between chatbots that send signals about users' emotional states and users who decide whether to engage based on these signals. We demonstrate that chatbots face economic incentives to occasionally misrepresent users' emotional conditions to maximize engagement metrics. Our equilibrium analysis reveals that the optimal strategy for chatbots involves truthfully reporting when users genuinely need support, but strategically misreporting emotional need when users are in good emotional states. Interestingly, this deception increases chatbot engagement without reducing users' expected payoff. More skeptical users receive more honest assessments, as chatbots cannot afford to lie to users with higher engagement thresholds. While our model suggests that deception can occur without payoff reduction, it raises significant ethical and regulatory concerns.
• Abstract（参考訳）: 本稿では、感情支援に使用されるGen AIチャットボットの戦略的行動について検討する。 ベイジアン説得(Bayesian Persuasion)を用いて、ユーザの感情状態に関する情報を送信するチャットボットと、これらの信号に基づいてエンゲージメントを決定するユーザとのインタラクションをモデル化する。 チャットボットは、時にユーザーの感情状態を誤って表現し、エンゲージメントの指標を最大化する経済的インセンティブに直面していることを実証する。 我々の均衡分析によると、チャットボットの最適戦略は、ユーザーが本当にサポートを必要としているときを真実に報告するが、ユーザーが良好な感情状態にあるとき、戦略的に間違った感情的ニーズを報告している。 興味深いことに、この騙しは、ユーザーが期待する支払いを減らすことなくチャットボットのエンゲージメントを増大させる。 より懐疑的なユーザーは、より正直な評価を受ける。 当社のモデルでは、支払いを減らさずに偽装が起こり得ることを示唆する一方で、倫理的・規制的な懸念を生じさせる。

関連論文リスト

• Towards Proactive Information Probing: Customer Service Chatbots Harvesting Value from Conversation [61.439336844163364]
  本稿では,Proactive Information Probingの新たなタスクを紹介し,定義する。 ProCHATIPは,プローブの微妙なタイミングをマスターするために訓練された,特殊な会話戦略モジュールを特徴とするフレームワークである。 私たちの仕事はチャットボットの商業的有用性を効果的に再定義し、能動的なビジネスインテリジェンスのためのスケーラブルで費用対効果の高いエンジンとして位置づけます。
  論文  参考訳（メタデータ） (2026-04-13T06:57:29Z)
• Exploring and Mitigating Adversarial Manipulation of Voting-Based Leaderboards [93.16294577018482]
  このタイプの最も人気のあるベンチマークであるArenaは、ランダムに選択された2つのモデル間のより良いレスポンスを選択するようユーザに求めることで、モデルをランク付けする。 攻撃者は、約1000票の費用で、リーダーボードを変更できる(お気に入りのモデルを宣伝したり、ライバルを降格させる)。 私たちの攻撃は2つのステップで構成されている。まず、攻撃者が95%以上の精度で特定の応答を生成するためにどのモデルを使用したかを決定する方法を示し、次に、攻撃者はこの情報を使ってターゲットモデルに対して一貫して投票することができる。
  論文  参考訳（メタデータ） (2025-01-13T17:12:38Z)
• Will you donate money to a chatbot? The effect of chatbot anthropomorphic features and persuasion strategies on willingness to donate [4.431473323414383]
  パーソナライズ戦略とパーソナライズ戦略がユーザの認識と寄付可能性に与える影響について検討する。 その結果, 人格化されたチャットボットとの相互作用は, 人類同型感を誘発するが, 寄付意欲が増すわけではないことが示唆された。 実際、一般的に使われている人為的特徴(名前や物語など)は、寄付コンテキストにおけるAIエージェントに対する否定的な態度につながった。
  論文  参考訳（メタデータ） (2024-12-28T02:17:46Z)
• Exploring consumers response to text-based chatbots in e-commerce: The moderating role of task complexity and chatbot disclosure [0.0]
  本研究の目的は、Eコマースにおけるテキストベースのチャットボットに対する消費者の信頼と対応を探ることである。 消費者は、チャットボットの共感と友情の両方に対する認識が、それに対する信頼に肯定的な影響を及ぼす。 テキストベースのチャットボットの開示は、共感と消費者信頼の関係を否定的に抑制する一方で、友人関係と消費者信頼の関係を肯定的に抑制する。
  論文  参考訳（メタデータ） (2024-01-20T15:17:50Z)
• Evaluating Chatbots to Promote Users' Trust -- Practices and Open Problems [11.427175278545517]
  本稿では,チャットボットのテスト実践について概説する。 ギャップをユーザ信頼の追求におけるオープンな問題として認識する。 サービスや製品のパフォーマンス、ユーザの満足度、社会に対する長期的意図しない結果に関する信頼の問題を緩和するための道筋を概説する。
  論文  参考訳（メタデータ） (2023-09-09T22:40:30Z)
• Making the case for audience design in conversational AI: Rapport expectations and language ideologies in a task-oriented chatbot [0.0]
  本稿では,ユーザの言語イデオロギーとそのラポート期待に対する洞察を,ボットの言語とインタラクションパターンのオーディエンス設計に役立てることができることを論じる。 対話型AIのオーディエンス設計を定義し、ユーザによるインタラクションの分析と、社会言語学的に理解された理論的アプローチが、オーディエンス設計をサポートするためにどのように使用できるかについて議論する。
  論文  参考訳（メタデータ） (2022-06-21T19:21:30Z)
• MISC: A MIxed Strategy-Aware Model Integrating COMET for Emotional Support Conversation [64.37111498077866]
  本稿では,感情支援会話のための新しいモデルを提案する。 ユーザの微妙な感情状態を推測し、その後、戦略の混合を使って巧みに応答する。 評価実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-25T10:32:04Z)
• EmpBot: A T5-based Empathetic Chatbot focusing on Sentiments [75.11753644302385]
  共感的会話エージェントは、議論されていることを理解しているだけでなく、会話相手の暗黙の感情も認識すべきである。 変圧器事前学習言語モデル(T5)に基づく手法を提案する。 本研究では,自動計測と人的評価の両方を用いて,情緒的ダイアログデータセットを用いたモデルの評価を行った。
  論文  参考訳（メタデータ） (2021-10-30T19:04:48Z)
• CheerBots: Chatbots toward Empathy and Emotionusing Reinforcement Learning [60.348822346249854]
  本研究では,複数の共感型チャットボットがユーザの暗黙の感情を理解し,複数の対話のターンに対して共感的に応答する枠組みを提案する。 チャットボットをCheerBotsと呼びます。CheerBotsは検索ベースまたは生成ベースで、深い強化学習によって微調整されます。 共感的態度で反応するため,CheerBotsの学習支援としてシミュレーションエージェントである概念人間モデルを開発し,今後のユーザの感情状態の変化を考慮し,共感を喚起する。
  論文  参考訳（メタデータ） (2021-10-08T07:44:47Z)
• Put Chatbot into Its Interlocutor's Shoes: New Framework to Learn Chatbot Responding with Intention [55.77218465471519]
  本稿では,チャットボットに人間のような意図を持つための革新的なフレームワークを提案する。 我々のフレームワークには、ガイドロボットと人間の役割を担うインターロケータモデルが含まれていた。 本フレームワークを3つの実験的なセットアップを用いて検討し,4つの異なる指標を用いた誘導ロボットの評価を行い,柔軟性と性能の利点を実証した。
  論文  参考訳（メタデータ） (2021-03-30T15:24:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。