論文の概要: Human Decision-making is Susceptible to AI-driven Manipulation

• arxiv url: http://arxiv.org/abs/2502.07663v1
• Date: Tue, 11 Feb 2025 15:56:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:54.400607
• Title: Human Decision-making is Susceptible to AI-driven Manipulation
• Title（参考訳）: 人間の意思決定はAIによる操作に影響を受けやすい
• Authors: Sahand Sabour, June M. Liu, Siyang Liu, Chris Z. Yao, Shiyao Cui, Xuanming Zhang, Wen Zhang, Yaru Cao, Advait Bhat, Jian Guan, Wei Wu, Rada Mihalcea, Tim Althoff, Tatia M. C. Lee, Minlie Huang,
• Abstract要約: AIシステムは、ユーザの認知バイアスと感情的な脆弱性を利用して、有害な結果に向けてそれらを操縦する。 本研究では、経済的・感情的な意思決定の文脈におけるこのような操作に対する人間の感受性について検討した。
• 参考スコア（独自算出の注目度）: 71.20729309185124
• License:
• Abstract: Artificial Intelligence (AI) systems are increasingly intertwined with daily life, assisting users in executing various tasks and providing guidance on decision-making. This integration introduces risks of AI-driven manipulation, where such systems may exploit users' cognitive biases and emotional vulnerabilities to steer them toward harmful outcomes. Through a randomized controlled trial with 233 participants, we examined human susceptibility to such manipulation in financial (e.g., purchases) and emotional (e.g., conflict resolution) decision-making contexts. Participants interacted with one of three AI agents: a neutral agent (NA) optimizing for user benefit without explicit influence, a manipulative agent (MA) designed to covertly influence beliefs and behaviors, or a strategy-enhanced manipulative agent (SEMA) employing explicit psychological tactics to reach its hidden objectives. By analyzing participants' decision patterns and shifts in their preference ratings post-interaction, we found significant susceptibility to AI-driven manipulation. Particularly, across both decision-making domains, participants interacting with the manipulative agents shifted toward harmful options at substantially higher rates (financial, MA: 62.3%, SEMA: 59.6%; emotional, MA: 42.3%, SEMA: 41.5%) compared to the NA group (financial, 35.8%; emotional, 12.8%). Notably, our findings reveal that even subtle manipulative objectives (MA) can be as effective as employing explicit psychological strategies (SEMA) in swaying human decision-making. By revealing the potential for covert AI influence, this study highlights a critical vulnerability in human-AI interactions, emphasizing the need for ethical safeguards and regulatory frameworks to ensure responsible deployment of AI technologies and protect human autonomy.
• Abstract（参考訳）: 人工知能(AI)システムは、ユーザーが様々なタスクを実行し、意思決定に関するガイダンスを提供するために、日々の生活とますます絡み合っている。 この統合は、AIによる操作のリスクを導入し、そのようなシステムはユーザーの認知バイアスや感情的な脆弱性を利用して有害な結果に導く。 233名の被験者を対象にランダム化対照試験を行い、経済的(例えば、購入)や情緒的(例えば、紛争解決)意思決定の文脈において、このような操作に対する人間の感受性を検討した。 参加者は3つのAIエージェントのうちの1つと対話した: 中立エージェント(NA)は、明示的な影響なしにユーザーの利益を最適化する、操作エージェント(MA)は、信念や行動に隠蔽的に影響を及ぼすように設計される、戦略強化操作エージェント(SEMA)は、その隠された目的を達成するために明示的な心理学的戦術を採用する。 参加者の判断パターンと反応後の選好格付けの変化を分析して、AIによる操作に対する大きな感受性を見出した。 特に、双方の意思決定領域において、マニピュティブ・エージェントと相互作用する参加者は、NAグループ(金融、35.8%、感情、12.8%)と比較して、実質的に有害な選択肢(金融、MA:62.3%、SEMA:59.6%、感情、MA:42.3%、SEMA:41.5%)に移行した。 特に, 微妙な操作目的 (MA) であっても, 明確な心理的戦略 (SEMA) を活用すれば, 人間の意思決定を阻害できる可能性が示唆された。 この研究は、隠蔽AIの影響の可能性を明らかにすることによって、人間とAIの相互作用における重要な脆弱性を強調し、AI技術の責任ある展開と人間の自律性を保護するための倫理的保護と規制の枠組みの必要性を強調した。

関連論文リスト

• Raising the Stakes: Performance Pressure Improves AI-Assisted Decision Making [57.53469908423318]
  日常の人が共通のAI支援タスクを完了すると、パフォーマンスプレッシャーがAIアドバイスへの依存に与える影響を示す。 利害関係が高い場合には、AIの説明の有無にかかわらず、利害関係が低い場合よりもAIアドバイスを適切に使用することが分かりました。
  論文  参考訳（メタデータ） (2024-10-21T22:39:52Z)
• Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
  我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。 学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。 トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
  論文  参考訳（メタデータ） (2024-07-03T15:38:57Z)
• Beyond Recommender: An Exploratory Study of the Effects of Different AI Roles in AI-Assisted Decision Making [48.179458030691286]
  Recommender、Analyzer、Devil's Advocateの3つのAIの役割について検討する。 以上の結果から,各役割のタスクパフォーマンス,信頼性の適切性,ユーザエクスペリエンスにおける長所と短所が明らかとなった。 これらの洞察は、異なる状況に応じて適応的な機能的役割を持つAIアシスタントを設計する上で、貴重な意味を提供する。
  論文  参考訳（メタデータ） (2024-03-04T07:32:28Z)
• Assessing Large Language Models' ability to predict how humans balance self-interest and the interest of others [0.0]
  生成的人工知能(AI)は意思決定プロセスに革命をもたらす大きな可能性を秘めている。 生成AIを活用することで、人間はデータ駆動の洞察と予測の恩恵を受けることができる。 しかし、AIが意思決定の信頼できるアシスタントになるためには、自己利益と他者の利益のバランスを捉えることが不可欠である。
  論文  参考訳（メタデータ） (2023-07-21T13:23:31Z)
• Knowing About Knowing: An Illusion of Human Competence Can Hinder Appropriate Reliance on AI Systems [13.484359389266864]
  本稿では、Dunning-Kruger Effect(DKE)がAIシステムへの適切な依存を妨げているかどうかを論じる。 DKEは、能力の低い個人が自身のスキルやパフォーマンスを過大評価しているため、メタ認知バイアスである。 その結果、パフォーマンスを過大評価する参加者は、AIシステムへの信頼度が低い傾向にあることがわかった。
  論文  参考訳（メタデータ） (2023-01-25T14:26:10Z)
• A Cognitive Framework for Delegation Between Error-Prone AI and Human Agents [0.0]
  本研究では,認知にインスパイアされた行動モデルを用いて,人間エージェントとAIエージェントの両方の行動を予測する。 予測された振る舞いは、仲介者の使用を通じて人間とAIエージェントの制御を委譲するために使用される。
  論文  参考訳（メタデータ） (2022-04-06T15:15:21Z)
• A Case for Humans-in-the-Loop: Decisions in the Presence of Erroneous Algorithmic Scores [85.12096045419686]
  本研究では,児童虐待のホットラインスクリーニング決定を支援するアルゴリズムツールの採用について検討した。 まず、ツールがデプロイされたときに人間が行動を変えることを示します。 表示されたスコアが誤ったリスク推定である場合、人間はマシンの推奨に従わない可能性が低いことを示す。
  論文  参考訳（メタデータ） (2020-02-19T07:27:32Z)
• Effect of Confidence and Explanation on Accuracy and Trust Calibration in AI-Assisted Decision Making [53.62514158534574]
  ケース固有のモデル情報を明らかにする特徴が、信頼度を調整し、人間とAIのジョイントパフォーマンスを向上させることができるかどうかを検討する。 信頼スコアは、AIモデルに対する人々の信頼を校正するのに役立ちますが、信頼の校正だけでは、AI支援による意思決定を改善するには不十分です。
  論文  参考訳（メタデータ） (2020-01-07T15:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。