論文の概要: Accounting for Context: Shaping Moral Credences for Value Alignment

• arxiv url: http://arxiv.org/abs/2606.06972v1
• Date: Fri, 05 Jun 2026 07:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.604319
• Title: Accounting for Context: Shaping Moral Credences for Value Alignment
• Title（参考訳）: コンテキストの会計: 価値アライメントのためのモラルクレデンスを形成する
• Authors: Jazon Szabo, Sanjay Modgil,
• Abstract要約: 本稿では、道徳的評価を集約する場合、文脈的要因を考慮に入れる必要があると論じる。 我々は,このような文脈要因を考慮しつつ,道徳的不確実性の下でエージェント決定を定式化する。 この明らかな問題は、実際にはシンプソンのパラドックスの変種であり、したがって凝集機構の限界を明らかにするものである。
• 参考スコア（独自算出の注目度）: 3.7527745397166767
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Ensuring that agent behaviours are aligned with human moral values inevitably raises the problem of how to account for the plurality of moral perspectives that societies -- and even individuals -- typically adopt. Work on moral uncertainty proposes mechanisms to fairly and democratically aggregate evaluations of actions across different moral theories. However, this paper argues that one needs to account for contextual factors when aggregating moral evaluations. For example, consequentialist perspectives assume an ability to accurately determine how an agent's actions change the world; an assumption that often does not hold in real world settings. We, therefore, formalise agent decision making under moral uncertainty, while also accounting for these kinds of contextual factors. We thereby show that a seemingly commonsensical property -- the weak Pareto principle -- is violated. We argue that this apparent problem is, in fact, a variation of Simpson's paradox, and hence reveals the limitations of aggregation mechanisms that ignore the impact of contextual factors.
• Abstract（参考訳）: エージェントの行動が人間の道徳的価値観と一致していることを保証することは、社会や個人でさえ、一般的に採用される複数の道徳的視点をどう考慮すべきかという問題を必然的に提起する。 道徳的不確実性の研究は、異なる道徳理論にまたがる行動の評価を公平かつ民主的に集約するメカニズムを提案する。 しかし,本論文では,道徳的評価を集約する場合の文脈的要因を考慮に入れる必要があると論じている。 例えば、連続主義的な視点では、エージェントのアクションがどのように世界を変えるかを正確に決定する能力が仮定される。 したがって、このような文脈要因を考慮しつつ、道徳的不確実性の下でエージェント決定を定式化する。 したがって、弱いパレートの原理である一見共通感覚的性質が侵害されることが示される。 この明らかな問題は、実際にはシンプソンのパラドックスの変種であり、従って、文脈要因の影響を無視する凝集機構の限界を明らかにするものである。

関連論文リスト

• Machine Behavior in Relational Moral Dilemmas: Moral Rightness, Predicted Human Behavior, and Model Decisions [14.29792672073981]
  本稿では,Whistleblower's Dilemmaを用いて,犯罪重大度と関係性近さの2つの実験次元を特徴付ける。 本研究は,(1)道徳的正当性(規範的規範),(2)予測的人間の行動(記述的社会的期待),(3)自律的モデル決定の3つの視点を評価する。
  論文  参考訳（メタデータ） (2026-04-23T17:14:18Z)
• "Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas [11.229443362516207]
  本研究は,14大言語モデル(LLM)の包括的実証評価である。 我々は3,780の二項決定と自然言語の正当性を抽出し、決定的断定性、説明的回答の整合性、公的な道徳的整合性、倫理的に無関係な手がかりに対する感受性の軸に沿った分析を可能にした。 我々は、LLMのアライメントにおいて、道徳的推論が主軸となることを主張し、LLMが決定するものだけでなく、どのように、なぜかを評価する標準ベンチマークを要求している。
  論文  参考訳（メタデータ） (2025-08-10T10:45:16Z)
• When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
  大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。 大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。 道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。 本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
  論文  参考訳（メタデータ） (2025-05-25T16:19:24Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)
• ClarifyDelphi: Reinforced Clarification Questions with Defeasibility Rewards for Social and Moral Situations [81.70195684646681]
  本稿では,ClarifyDelphiという対話型システムについて紹介する。 我々は、潜在的な答えが道徳的判断の多様化に繋がる質問が最も有益であると仮定する。 私たちの研究は究極的には、道徳的認知の柔軟性を研究してきた認知科学の研究にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2022-12-20T16:33:09Z)
• Morality, Machines and the Interpretation Problem: A value-based, Wittgensteinian approach to building Moral Agents [0.0]
  機械に道徳性を持たせようとする試みは、我々が解釈問題と呼ぶものである。 我々は、マシンに与えるいかなるルールも、道徳的に不適切な方法で無限の解釈に開放されていると主張する。
  論文  参考訳（メタデータ） (2021-03-03T22:34:01Z)
• On the Moral Justification of Statistical Parity [0.0]
  公正性の重要かつしばしば無視される側面は、道徳的な観点からある公正度測定をいかに正当化するかという問題である。 本研究の目的は,独立の統計的公正性基準に関連する道徳的側面を考察することである。
  論文  参考訳（メタデータ） (2020-11-04T00:26:15Z)
• Reinforcement Learning Under Moral Uncertainty [13.761051314923634]
  機械学習の野心的な目標は、倫理的に振る舞うエージェントを作ることだ。 倫理的エージェントは、特定の道徳理論の下で正しい行動に報いることによって訓練することができるが、道徳性の本質について広く意見の相違がある。 本稿では、競合するデシダラタの異なる点を実現するための2つのトレーニング手法を提案し、モラルの不確実性の下で行動するための単純な環境におけるエージェントを訓練する。
  論文  参考訳（メタデータ） (2020-06-08T16:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。