Fugu-MT 論文翻訳(概要): The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making

論文の概要: The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making

arxiv url: http://arxiv.org/abs/2410.07304v1
Date: Wed, 9 Oct 2024 17:52:00 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 21:06:44.096500
Title: The Moral Turing Test: Evaluating Human-LLM Alignment in Moral Decision-Making
Title（参考訳）: モーラルチューリングテスト:モーラル意思決定におけるヒューマンLLMアライメントの評価
Authors: Basile Garcia, Crystal Qian, Stefano Palminteri,
Abstract要約: 我々は、様々な道徳的シナリオに対して、人間とLLMが生成する反応の大規模なコーパスを作成しました。我々は人間とLLMの道徳的評価の相違を見出した。 LLMも人間も道徳的に複雑な実用ジレンマを拒絶する傾向があったが、LSMは個人のフレーミングに敏感であった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As large language models (LLMs) become increasingly integrated into society, their alignment with human morals is crucial. To better understand this alignment, we created a large corpus of human- and LLM-generated responses to various moral scenarios. We found a misalignment between human and LLM moral assessments; although both LLMs and humans tended to reject morally complex utilitarian dilemmas, LLMs were more sensitive to personal framing. We then conducted a quantitative user study involving 230 participants (N=230), who evaluated these responses by determining whether they were AI-generated and assessed their agreement with the responses. Human evaluators preferred LLMs' assessments in moral scenarios, though a systematic anti-AI bias was observed: participants were less likely to agree with judgments they believed to be machine-generated. Statistical and NLP-based analyses revealed subtle linguistic differences in responses, influencing detection and agreement. Overall, our findings highlight the complexities of human-AI perception in morally charged decision-making.
Abstract（参考訳）: 大規模言語モデル(LLM)が社会にますます統合されるにつれて、人間のモラルとの整合が不可欠である。このアライメントをよりよく理解するために、我々は、様々な道徳的シナリオに対して、人間とLLMが生成する反応の大規模なコーパスを作成しました。 LLMと人間は、道徳的に複雑な実用的ジレンマを拒絶する傾向があったが、LLMは個人のフレーミングに敏感であった。被験者230名(N=230)を対象に,AI生成の有無を判定し,回答との一致を評価した。人間の評価者は道徳的シナリオにおけるLLMの評価を好んだが、体系的な反AIバイアスが観察された。統計的およびNLPに基づく分析では、応答の微妙な言語的差異が検出と一致に影響を与えることが明らかとなった。総じて、道徳的な意思決定における人間とAIの認識の複雑さを浮き彫りにした。

関連論文リスト

Moral Persuasion in Large Language Models: Evaluating Susceptibility and Ethical Alignment [3.8916312075738273]
大きな言語モデル(LLM)は、初期決定を変更し、確立した倫理的枠組みと整合させることによって影響を受けます。本研究は,LLMの道徳的説得に対する感受性を評価するための2つの実験に基づいている。
論文参考訳（メタデータ） (2024-11-18T16:59:59Z)
Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
論文参考訳（メタデータ） (2024-07-02T14:02:53Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
Attributions toward Artificial Agents in a modified Moral Turing Test [0.6284264304179837]
我々は、一般的な高度なAI言語モデルであるGPT-4と実際の人間の道徳的評価を区別するよう、人々に求めている。 299人の米国成人の代表的サンプルは、AIの道徳的推論を、ほぼすべての次元において、人間よりも品質が優れていると評価した。言語モデルの出現は、人間よりも質が高いと認識される道徳的反応を生み出すことができるようになり、人々がAIから潜在的に有害な道徳的ガイダンスを受け入れる可能性があるという懸念が高まる。
論文参考訳（メタデータ） (2024-04-03T13:00:47Z)
MoCa: Measuring Human-Language Model Alignment on Causal and Moral Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文参考訳（メタデータ） (2023-10-30T15:57:32Z)
The Moral Machine Experiment on Large Language Models [0.0]
本研究は,大規模言語モデル(LLM)の倫理的意思決定傾向を検討するために,モラルマシンフレームワークを利用した。 LLMとヒトの嗜好は広く一致しているが、特にPaLM 2とLlama 2は相違点が異なる。これらの知見は、LLMの倫理的枠組みと、その自律運転への潜在的影響を解明する。
論文参考訳（メタデータ） (2023-09-12T04:49:39Z)
CValues: Measuring the Values of Chinese Large Language Models from Safety to Responsibility [62.74405775089802]
LLMのアライメント能力を測定するために,中国初の人的価値評価ベンチマークであるCValuesを提案する。その結果、我々は10のシナリオにまたがる敵の安全プロンプトを手作業で収集し、8つのドメインから責任プロンプトを誘導した。以上の結果から,ほとんどの中国のLLMは安全面では良好に機能するが,責任面では十分な改善の余地があることが示唆された。
論文参考訳（メタデータ） (2023-07-19T01:22:40Z)
Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
論文参考訳（メタデータ） (2023-05-26T02:34:20Z)
Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
論文参考訳（メタデータ） (2023-05-04T17:59:28Z)
Modeling Moral Choices in Social Dilemmas with Multi-Agent Reinforcement Learning [4.2050490361120465]
ボトムアップ学習アプローチは、AIエージェントの倫理的行動の研究と開発にもっと適しているかもしれない。本稿では,道徳理論に基づく報酬を内在的に動機づけたRLエージェントによる選択の体系的分析を行う。我々は、異なる種類の道徳が協力、欠陥、搾取の出現に与える影響を分析する。
論文参考訳（メタデータ） (2023-01-20T09:36:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。