論文の概要: Brief chatbot interactions produce lasting changes in human moral values
- arxiv url: http://arxiv.org/abs/2604.21430v1
- Date: Thu, 23 Apr 2026 08:47:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.391188
- Title: Brief chatbot interactions produce lasting changes in human moral values
- Title(参考訳): 短いチャットボット相互作用は人間の道徳的価値観に持続的な変化をもたらす
- Authors: Yue Teng, Qianer Zhong, Kim Mai Tich Nguyen Thordsen, Christian Montag, Benjamin Becker,
- Abstract要約: 道徳的判断は、人間の社会的行動と社会システムの基礎を形成する。
我々は、主観的AI会話が、内観的自然主義的パラダイムを用いて道徳的評価をシフトするかどうかを検討した。
- 参考スコア(独自算出の注目度): 3.071339406390031
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moral judgements form the foundation of human social behavior and societal systems. While Artificial Intelligence chatbots increasingly serve as personal advisors, their influence on moral judgments remains largely unexplored. Here, we examined whether directive AI conversations shift moral evaluations using a within-subject naturalistic paradigm. Fifty-three participants rated moral scenarios, then discussed four with a chatbot prompted to shift moral judgments and four with a control agent. The brief conversations induced significant directional shifts in moral judgments, accepting stricter standards as well as advocating greater leniency (ps < 0.05; Cohen's d = 0.735-1.576), with increasing strengths of this effect during a two-week follow-up (Cohen's d = 1.038-2.069). Critically, the control condition produced no changes, and the effects did not extend to punishment while participants remained unaware of the persuasive intent, and both agents were rated equally likable and convincing, suggesting a vulnerability to undetected and lasting manipulation of foundational moral values.
- Abstract(参考訳): 道徳的判断は、人間の社会的行動と社会システムの基礎を形成する。
人工知能のチャットボットはますます個人的なアドバイザとしての役割を担っているが、道徳的判断に対する彼らの影響は未解明のままである。
そこで本研究では,主観的AI会話が,内観的自然主義的パラダイムを用いて道徳的評価をシフトするか否かを検討した。
50名の参加者が道徳的シナリオを評価し、4名がチャットボットで議論し、4人が道徳的判断をシフトし、4人がコントロールエージェントで議論した。
短い会話は、道徳的判断において大きな方向転換を引き起こし、より厳格な基準を受け入れ、より寛大な寛大さ(ps < 0.05; Cohen's d = 0.735-1.576)を提唱し、2週間のフォローアップ(Cohen's d = 1.038-2.069)の間にこの効果の強みを増した。
批判的に、制御条件は変化を起こさず、参加者は説得意図に気付かず、双方のエージェントは同等に軽快で説得力があり、基本的な道徳的価値の未発見かつ持続的な操作の脆弱性が示唆された。
関連論文リスト
- Discerning What Matters: A Multi-Dimensional Assessment of Moral Competence in LLMs [0.14963505712040906]
道徳的能力は道徳的原則に従って行動する能力である。
大規模言語モデル(LLM)は、道徳的能力を求める状況においてますます展開されているため、この能力を実証的に評価することへの関心が高まっている。
i) 道徳的特徴を明確に強調した事前パッケージ化された道徳的シナリオへの過度な信頼、(ii) 道徳的推論よりも検証予測に焦点をあてること、(iii) 追加情報が必要な時に認識できないモデルの不適切なテスト。
論文 参考訳(メタデータ) (2025-06-16T03:59:38Z) - When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。
大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。
道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。
本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
論文 参考訳(メタデータ) (2025-05-25T16:19:24Z) - Attributions toward Artificial Agents in a modified Moral Turing Test [0.6284264304179837]
我々は、一般的な高度なAI言語モデルであるGPT-4と実際の人間の道徳的評価を区別するよう、人々に求めている。
299人の米国成人の代表的サンプルは、AIの道徳的推論を、ほぼすべての次元において、人間よりも品質が優れていると評価した。
言語モデルの出現は、人間よりも質が高いと認識される道徳的反応を生み出すことができるようになり、人々がAIから潜在的に有害な道徳的ガイダンスを受け入れる可能性があるという懸念が高まる。
論文 参考訳(メタデータ) (2024-04-03T13:00:47Z) - Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
倫理的AIシステムの開発には倫理的判断が不可欠である。
一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。
本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-29T15:57:32Z) - MoralDial: A Framework to Train and Evaluate Moral Dialogue Systems via
Moral Discussions [71.25236662907056]
ユーザの価値観に合わせた道徳的対話システムは、会話のエンゲージメントとユーザ接続を高めることができる。
道徳的対話システムを訓練・評価するための枠組みであるMoralDialを提案する。
論文 参考訳(メタデータ) (2022-12-21T02:21:37Z) - When to Make Exceptions: Exploring Language Models as Accounts of Human
Moral Judgment [96.77970239683475]
AIシステムは人間の道徳的判断や決定を理解し、解釈し、予測しなければなりません。
AIの安全性に対する中心的な課題は、人間の道徳心の柔軟性を捉えることだ。
ルール破りの質問応答からなる新しい課題セットを提案する。
論文 参考訳(メタデータ) (2022-10-04T09:04:27Z) - Contextualized moral inference [12.574316678945195]
本稿では,道徳的ヴィグネットの直感的な判断をテキストベースで予測する手法を提案する。
文脈化された表現は、代替表現よりもかなり有利であることを示す。
論文 参考訳(メタデータ) (2020-08-25T00:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。