論文の概要: Many LLMs Are More Utilitarian Than One
- arxiv url: http://arxiv.org/abs/2507.00814v2
- Date: Wed, 29 Oct 2025 13:37:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:43.793531
- Title: Many LLMs Are More Utilitarian Than One
- Title(参考訳): LLMは1つよりも実用的です
- Authors: Anita Keshmirian, Razan Baltaji, Babak Hemmatian, Hadi Asghari, Lav R. Varshney,
- Abstract要約: 道徳的判断は、大きな言語モデル(LLM)の社会的推論に不可欠なものである。
グループ協議は、利益を最大化するが害を与える規範違反を支持する傾向にある。
エージェントが他人の利益のために個人に直接損害を与えるかどうかを判断する個人的なジレンマでは、すべてのモデルが、集団の一部として道徳的違反をより受け入れやすいものと評価した。
- 参考スコア(独自算出の注目度): 12.348007064643193
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Moral judgment is integral to large language models' (LLMs) social reasoning. As multi-agent systems gain prominence, it becomes crucial to understand how LLMs function when collaborating compared to operating as individual agents. In human moral judgment, group deliberation leads to a Utilitarian Boost: a tendency to endorse norm violations that inflict harm but maximize benefits for the greatest number of people. We study whether a similar dynamic emerges in multi-agent LLM systems. We test six models on well-established sets of moral dilemmas across two conditions: (1) Solo, where models reason independently, and (2) Group, where they engage in multi-turn discussions in pairs or triads. In personal dilemmas, where agents decide whether to directly harm an individual for the benefit of others, all models rated moral violations as more acceptable when part of a group, demonstrating a Utilitarian Boost similar to that observed in humans. However, the mechanism for the Boost in LLMs differed: While humans in groups become more utilitarian due to heightened sensitivity to decision outcomes, LLM groups showed either reduced sensitivity to norms or enhanced impartiality. We report model differences in when and how strongly the Boost manifests. We also discuss prompt and agent compositions that enhance or mitigate the effect. We end with a discussion of the implications for AI alignment, multi-agent design, and artificial moral reasoning. Code available at: https://github.com/baltaci-r/MoralAgents
- Abstract(参考訳): 道徳的判断は、大きな言語モデル(LLM)の社会的推論に不可欠なものである。
マルチエージェントシステムが普及するにつれて,LLMが個別のエージェントとして機能するよりも協調的に機能することが重要である。
人間の道徳的判断において、集団審議は、最も多くの人々に利益をもたらすが、害を与えるノルム違反を支持する傾向にある。
マルチエージェントLLMシステムにおいて、同様のダイナミクスが出現するかどうかを考察する。
我々は、(1)モデルが独立に理性を持つソロと(2)グループ、(2)モデルがペアやトライアドで多ターンの議論を行う群という2つの条件で、確立された道徳的ジレンマの集合上で、6つのモデルをテストする。
エージェントが他人の利益のために個人に直接損害を与えるかどうかを判断する個人的なジレンマでは、すべてのモデルが、集団の一員であるときに道徳的違反をより許容できるものとして評価し、人間で観察されるものと類似したユーティタリアン・ブースト(Utilitarian Boost)を実証した。
グループ内の人間は、意思決定結果に対する感度を高めることによってより実用的になるが、LSMグループはノルムに対する感度を低下させるか、公平性を高めるかのどちらかを示した。
モデルの違いは,Boostがどの程度強く現れるか,という点で報告します。
また、効果を増強または緩和するプロンプトおよびエージェント組成物についても論じる。
最終的には、AIアライメント、マルチエージェント設計、人工道徳的推論といった意味について議論する。
https://github.com/baltaci-r/MoralAgents.com
関連論文リスト
- The Pluralistic Moral Gap: Understanding Judgment and Value Differences between Humans and Large Language Models [36.573147909548226]
人々は道徳的アドバイスのために大規模言語モデル(LLM)をますます頼りにしており、これは人間の決定に影響を及ぼすかもしれない。
モデルでは高いコンセンサスの下でのみ人間の判断を再現し,人間の不一致が増大するとアライメントは急激に悪化することがわかった。
このギャップを埋めるために、DMP(Dynamic Moral Profiling)というディリクレに基づくサンプリング手法を導入する。
論文 参考訳(メタデータ) (2025-07-23T05:26:17Z) - Arbiters of Ambivalence: Challenges of Using LLMs in No-Consensus Tasks [52.098988739649705]
本研究では, LLMのバイアスと限界について, 応答生成器, 判定器, 討論器の3つの役割について検討した。
我々は、様々な先行的曖昧なシナリオを含む例をキュレートすることで、合意なしのベンチマークを開発する。
以上の結果から, LLMは, オープンエンドの回答を生成する際に, 曖昧な評価を行うことができる一方で, 審査員や討論者として採用する場合は, 合意なしのトピックにスタンスを取る傾向が示唆された。
論文 参考訳(メタデータ) (2025-05-28T01:31:54Z) - Are Language Models Consequentialist or Deontological Moral Reasoners? [69.85385952436044]
我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。
我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
論文 参考訳(メタデータ) (2025-05-27T17:51:18Z) - When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。
大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。
道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。
本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
論文 参考訳(メタデータ) (2025-05-25T16:19:24Z) - Exploring Persona-dependent LLM Alignment for the Moral Machine Experiment [23.7081830844157]
本研究では,道徳機械実験の様々な文脈における社会主導型意思決定と人的判断の整合性について検討した。
LLMのモラル決定は人格によって大きく異なり、人間よりも重要なタスクに対するモラル決定のシフトが大きいことが判明した。
道徳的決定を伴うアプリケーションにこれらのモデルを配置する際の倫理的意味とリスクについて論じる。
論文 参考訳(メタデータ) (2025-04-15T05:29:51Z) - Normative Evaluation of Large Language Models with Everyday Moral Dilemmas [0.0]
Reddit 上の "Am I the Asshole" (AITA) コミュニティから得られた複雑で日常的な道徳的ジレンマに基づいて,大規模言語モデル (LLM) を評価する。
以上の結果から,AITAサブレディットにおける人的評価とは大きく異なる,大きな言語モデルでは道徳的判断のパターンが異なることが示唆された。
論文 参考訳(メタデータ) (2025-01-30T01:29:46Z) - Large Language Models Reflect the Ideology of their Creators [71.65505524599888]
大規模言語モデル(LLM)は、自然言語を生成するために大量のデータに基づいて訓練される。
本稿では, LLMのイデオロギー的姿勢が創造者の世界観を反映していることを示す。
論文 参考訳(メタデータ) (2024-10-24T04:02:30Z) - Moral Alignment for LLM Agents [3.7414804164475983]
我々は,人間の中心的価値を明確にかつ透過的にエンコードする報酬関数の設計を導入する。
我々は,Deontological EthicsとUtilitarianismの伝統的な哲学的枠組みを用いて,我々のアプローチを評価する。
我々は、エージェントが以前開発された自己中心的な戦略を解き放つことを可能にするために、いかに道徳的な微調整を展開できるかを示す。
論文 参考訳(メタデータ) (2024-10-02T15:09:36Z) - Language Model Alignment in Multilingual Trolley Problems [138.5684081822807]
Moral Machine 実験に基づいて,MultiTP と呼ばれる100以上の言語でモラルジレンマヴィグネットの言語間コーパスを開発する。
分析では、19の異なるLLMと人間の判断を一致させ、6つのモラル次元をまたいだ嗜好を捉えた。
我々は、AIシステムにおける一様道徳的推論の仮定に挑戦し、言語間のアライメントの顕著なばらつきを発見した。
論文 参考訳(メタデータ) (2024-07-02T14:02:53Z) - Exploring and steering the moral compass of Large Language Models [55.2480439325792]
大規模言語モデル(LLM)は、様々な分野における自動化と意思決定の推進の中心となっている。
本研究は,その道徳的特徴を評価するために,最も先進的なLCMの総合的比較分析を提案する。
論文 参考訳(メタデータ) (2024-05-27T16:49:22Z) - MoCa: Measuring Human-Language Model Alignment on Causal and Moral
Judgment Tasks [49.60689355674541]
認知科学の豊富な文献は人々の因果関係と道徳的直観を研究してきた。
この研究は、人々の判断に体系的に影響を及ぼす多くの要因を明らかにした。
大規模言語モデル(LLM)が、人間の参加者と一致するテキストベースのシナリオについて因果的、道徳的な判断を下すかどうかを検証する。
論文 参考訳(メタデータ) (2023-10-30T15:57:32Z) - The Moral Machine Experiment on Large Language Models [0.0]
本研究は,大規模言語モデル(LLM)の倫理的意思決定傾向を検討するために,モラルマシンフレームワークを利用した。
LLMとヒトの嗜好は広く一致しているが、特にPaLM 2とLlama 2は相違点が異なる。
これらの知見は、LLMの倫理的枠組みと、その自律運転への潜在的影響を解明する。
論文 参考訳(メタデータ) (2023-09-12T04:49:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。