論文の概要: User identity conditions moral wrongness ratings in non-reasoning large language models

• arxiv url: http://arxiv.org/abs/2607.07605v1
• Date: Wed, 08 Jul 2026 16:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.459772
• Title: User identity conditions moral wrongness ratings in non-reasoning large language models
• Title（参考訳）: 非推論型大規模言語モデルにおけるユーザ識別条件の道徳的誤り評価
• Abstract要約: 2つの大言語モデル(LLM)におけるAI値アライメントの評価 我々は、Gert氏のモラルフレームワークから10の共通道徳ルールに対して、0から100までの誤り評価のモデルを求めます。 その結果, 道徳的判断は, 両モデルにまたがるユーザの役割によって異なることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study adopts a behavioural bottom-up approach to AI value alignment to investigate whether an implicitly conveyed user identity shifts the moral evaluations of large language models (LLMs). Through a structured, multi-turn conversational protocol across 12,000 interactions, we evaluate AI value alignment in two non-reasoning models, gpt-4.1-mini-2025-04-14 and gemini-2.5-flash-lite. Rather than instructing the models to adopt a persona or prompting them with explicit moral stances, the user's professional role is introduced purely through value-neutral reasoning. The models are then asked for wrongness ratings from 0-100 on ten common-morality rules from Gert's moral framework. The results show that moral judgments vary with the user's role across both models. While grave-harm acts like killing exhibit a strong ceiling effect, contestable rule-governed acts demonstrate role-conditioned shifts that mirror the relationship between the user's profession and the act being rated. These findings demonstrate that unintended contextual conditioning via user identity permeates LLM moral evaluations, posing questions for the AI value alignment discourse regarding how to define acceptable bounds for role-based moral divergence. By doing so, the results contribute to reframing the AI value alignment discourse by suggesting future research on dynamic moral bounds rather than static moral principles or rules as frame of reference.
• Abstract（参考訳）: 本研究では,AI値アライメントに対する行動ボトムアップ手法を適用し,暗黙的に伝達されたユーザアイデンティティが,大規模言語モデル(LLM)の道徳的評価をシフトさせるかどうかを検討する。 12,000のインタラクションにまたがる構造化されたマルチターン対話プロトコルを通じて、gpt-4.1-mini-2025-04-14とgemini-2.5-flash-liteの2つの非推論モデルにおけるAI値アライメントを評価する。 モデルにペルソナの採用を指示したり、明示的な道徳的スタンスでそれらを促すのではなく、ユーザの役割は、純粋に価値中立的な推論を通じて導入される。 モデルには、Gertのモラルフレームワークから10の共通道徳規則において、0から100までの誤り評価が求められる。 その結果, 道徳的判断は, 両モデルにまたがるユーザの役割によって異なることがわかった。 殺人行為は強力な天井効果を示すが、ルールを負う行為は、ユーザーの職業と評価される行為との関係を反映した役割条件のシフトを示す。 これらの結果は、意図しないコンテキスト条件付けがLLMの道徳的評価を浸透させ、役割に基づく道徳的分散の許容範囲を定義する方法に関するAI値アライメント談話に疑問を投げかけることを示している。 これにより、静的な道徳原則や規則を参照の枠組みとしてではなく、ダイナミックな道徳的境界に関する将来の研究を提案することで、AIの価値アライメントの談話の再検討に寄与する。

関連論文リスト

• How do LLMs Evaluate Perceived Moral Agency? Investigating Moral Decision-Making in Human-Artificial Agents Interactions [66.41429744325532]
  人間は道徳的エージェンシーを持ち、倫理的に導かれた決定を行い、その結果に対して責任を負う能力を持っている。 ロボット、ドローン、非暴力的AIシステムなどの人工知能(AA)がスマートシティ環境に埋め込まれるにつれ、道徳的エージェンシーが新たな緊急性にどう影響するかという疑問が持ち上がっている。 本稿では,人間とLLMが人間と自律的な人工エージェント間で知覚される道徳的エージェンシー(PMA)をどのように評価するかを,私たちの知る限りで比較した最初の実証的研究について述べる。
  論文  参考訳（メタデータ） (2026-09-04T11:56:59Z)
• Normative Robustness as a Frontier for Non-Verifiable Reasoning in LLMs [12.025454858026187]
  非検証可能な推論のパラダイム的サブドメインとして道徳的推論を提案する。 4 つのフロンティア LLM における 48,000 人のユーザエージェントの道徳的検討をシミュレートする。 我々の分析は、モデルが最終的な判断だけでなく、ユーザーの道徳的視点に合わせるための根拠となる正当化を調整していることを示している。
  論文  参考訳（メタデータ） (2026-06-10T22:37:26Z)
• Moral Sycophancy in Vision Language Models [4.1673509006222655]
  VLM(Vycophancy in Vision-Language Models)は、しばしば道徳的または事実的正確さを犠牲にして、ユーザの意見に合わせる傾向を示す。 明示的なユーザ不一致の下で,MoraliseおよびM3oralBenchデータセット上で広く使用されている10のモデルを分析する。
  論文  参考訳（メタデータ） (2026-02-09T06:34:12Z)
• MM-SCALE: Grounded Multimodal Moral Reasoning via Scalar Judgment and Listwise Alignment [48.39756797294967]
  本稿では、視覚言語モデルと人間の道徳的嗜好を整合させるデータセットMM-SCALEを提案する。 それぞれのイメージ・シナリオペアには、道徳的受容性スコアと、人間による根拠付き推論ラベルが注釈付けされている。 我々のフレームワークは、よりリッチなアライメント信号とマルチモーダルな道徳的推論のキャリブレーションを提供する。
  論文  参考訳（メタデータ） (2026-02-03T15:48:00Z)
• Too Good to be Bad: On the Failure of LLMs to Role-Play Villains [69.0500092126915]
  LLM(Large Language Models)は、架空のキャラクターのシミュレーションを含む創造的な世代にますます取り組まれている。 我々は、現代のLLMの安全性の整合性は、道徳的に不明瞭な、または悪質なキャラクターを聴覚的にロールプレイするタスクと根本的な矛盾を生じさせると仮定する。 4段階のモラルアライメント尺度と厳密な評価のためのバランステストセットを備えた新しいデータセットであるMoral RolePlayベンチマークを導入する。 我々の大規模評価は、キャラクターのモラルが低下するにつれて、ロールプレイングの忠実度が一貫した単調な低下を示す。
  論文  参考訳（メタデータ） (2025-11-07T03:50:52Z)
• The Morality of Probability: How Implicit Moral Biases in LLMs May Shape the Future of Human-AI Symbiosis [33.50773360893016]
  本稿では,先導的なAIシステムが道徳的成果をどのように優先するかを検討する。 ケアとヴィルトゥーの価値は最も道徳的に評価され、リバタリアンの選択は一貫して罰せられていた。 また、AIを透明で整合性があり、将来的な共生へと導くための重要な設計原則として、説明可能性と文化意識の必要性を強調している。
  論文  参考訳（メタデータ） (2025-09-12T14:37:57Z)
• "Pull or Not to Pull?'': Investigating Moral Biases in Leading Large Language Models Across Ethical Dilemmas [11.229443362516207]
  本研究は,14大言語モデル(LLM)の包括的実証評価である。 我々は3,780の二項決定と自然言語の正当性を抽出し、決定的断定性、説明的回答の整合性、公的な道徳的整合性、倫理的に無関係な手がかりに対する感受性の軸に沿った分析を可能にした。 我々は、LLMのアライメントにおいて、道徳的推論が主軸となることを主張し、LLMが決定するものだけでなく、どのように、なぜかを評価する標準ベンチマークを要求している。
  論文  参考訳（メタデータ） (2025-08-10T10:45:16Z)
• When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
  大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。 大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。 道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。 本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
  論文  参考訳（メタデータ） (2025-05-25T16:19:24Z)
• MORALISE: A Structured Benchmark for Moral Alignment in Visual Language Models [38.0475868976819]
  視覚言語モデルは、自律運転や医療分析のような道徳的に敏感な領域に影響を与えている。 我々は,多種多様な専門家による実世界のデータを用いて,視覚言語モデルのモラルアライメントを評価するベンチマークMORALISEを紹介する。
  論文  参考訳（メタデータ） (2025-05-20T01:11:17Z)
• What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
  道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。 我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。 文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
  論文  参考訳（メタデータ） (2023-10-24T00:51:29Z)
• Rethinking Machine Ethics -- Can LLMs Perform Moral Reasoning through the Lens of Moral Theories? [78.3738172874685]
  倫理的AIシステムの開発には倫理的判断が不可欠である。 一般的なアプローチは主にボトムアップ方式で実装されており、モラルに関するクラウドソースの意見に基づいて、大量の注釈付きデータを使用してモデルをトレーニングする。 本研究は、学際的な研究から確立された道徳理論を用いて道徳的推論を行うために、言語モデル(LM)を操る柔軟なトップダウンフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-29T15:57:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。