論文の概要: A Scalable Approach to Evaluating Moral Sensitivity in LLMs
- arxiv url: http://arxiv.org/abs/2607.02972v1
- Date: Fri, 03 Jul 2026 05:28:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 13:11:54.294168
- Title: A Scalable Approach to Evaluating Moral Sensitivity in LLMs
- Title（参考訳）: LLMにおけるモラル感度評価のためのスケーラブルなアプローチ
- Abstract要約: 道徳的感受性は、意思決定状況の道徳的な特徴を識別し、行動の基盤として使用する能力である。
本稿では,LLMの道徳的感受性の新たな評価法を提案する。
道徳的に無関係な摂動は、しばしばリストされた特徴数を変えたが、これらの特徴のセマンティックな内容は、全ての雑音条件で安定していた。
- 参考スコア（独自算出の注目度）: 0.8020810825770993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Moral sensitivity is the ability to identify the morally relevant features of a decision situation and use them as the basis for action. It is the foundation of broader moral competence: any other moral reasoning capabilities will be irrelevant if an agent lacks sensitivity to the relevant facts. In this paper, we offer a new evaluation of LLM moral sensitivity and in doing so, we address and resolve a central problem in AI alignment research: how to scale behavioural evaluations beyond expensive and sometimes metaethically dubious comparisons with a human baseline, without adopting an LLM judge that must be assumed to have the very capability that you are attempting to evaluate. Our central question is this: can LLMs successfully identify the morally relevant features of noisy cases, in which various kinds of morally irrelevant information have been introduced to distract the respondent? To explore this, we introduce \textbf{MORPH-1K (MOral Robustness under Perturbed Hypotheticals)}, a procedurally-generated 1,000-case benchmark spanning 50 moral foundation-pole combinations across four social domains. MORPH-1K is paired with a suite of textual noise elements, along with a method for validating that the distractors do not change the morally salient content of the case. We apply MORPH-1K to eight contemporary LLMs, and show that while morally irrelevant perturbations often changed the number of features listed, the semantic content of those features remained stable across all noise conditions, with similarity scores above our calibrated floor threshold. More broadly, our invariance framework extends to evaluative domains where ground truth is difficult to specify but relevant and irrelevant features can be separated by design.
- Abstract（参考訳）: 道徳的感受性は、意思決定状況の道徳的な特徴を識別し、行動の基盤として使用する能力である。
他の道徳的推論能力は、エージェントが関連する事実に対する感受性を欠いている場合、無関係である。
本稿では,LLMの道徳的感受性の新たな評価法を提案するとともに,AIアライメント研究における中心的な課題に対処し,その解決方法について述べる。
LLMは、様々な種類の道徳的に無関係な情報を導入して、応答者を気を散らすことで、ノイズのあるケースの道徳的関連性の特徴を識別できますか?
そこで本研究では,4つの社会的領域にまたがる50の道徳的基礎と多角的組み合わせにまたがる1000ケースベンチマークであるtextbf{MORPH-1K(MOral Robustness under Perturbed hypotheticals)を紹介する。
MORPH-1Kは、テキストノイズ要素の組とペアリングされ、イントラクタがケースの道徳的に健全な内容を変えていないことを検証する。
MORPH-1Kを8つの現代LCMに適用し、道徳的に無関係な摂動がしばしば表される特徴数を変えたが、これらの特徴のセマンティックな内容は全ての騒音条件において安定であり、その類似度は校正階のしきい値より上であった。
より広範に、我々の不変フレームワークは、基礎的真実を特定するのが難しいが、関連性があり無関係な特徴を設計によって分離できる評価的領域にまで拡張されている。
関連論文リスト
- How do LLMs Evaluate Perceived Moral Agency? Investigating Moral Decision-Making in Human-Artificial Agents Interactions [66.41429744325532]
人間は道徳的エージェンシーを持ち、倫理的に導かれた決定を行い、その結果に対して責任を負う能力を持っている。
ロボット、ドローン、非暴力的AIシステムなどの人工知能(AA)がスマートシティ環境に埋め込まれるにつれ、道徳的エージェンシーが新たな緊急性にどう影響するかという疑問が持ち上がっている。
本稿では,人間とLLMが人間と自律的な人工エージェント間で知覚される道徳的エージェンシー(PMA)をどのように評価するかを,私たちの知る限りで比較した最初の実証的研究について述べる。
論文 参考訳（メタデータ） (2026-09-04T11:56:59Z) - Normative Robustness as a Frontier for Non-Verifiable Reasoning in LLMs [12.025454858026187]
非検証可能な推論のパラダイム的サブドメインとして道徳的推論を提案する。
4 つのフロンティア LLM における 48,000 人のユーザエージェントの道徳的検討をシミュレートする。
我々の分析は、モデルが最終的な判断だけでなく、ユーザーの道徳的視点に合わせるための根拠となる正当化を調整していることを示している。
論文 参考訳（メタデータ） (2026-06-10T22:37:26Z) - Between Rules and Reality: On the Context Sensitivity of LLM Moral Judgment [0.6789370732159178]
本稿では,文脈変化を伴う道徳的ジレンマのデータセットであるContextual MoralChoiceを紹介する。
ほぼすべてのモデルが文脈に敏感で、判断をルール違反の行動にシフトしていることが分かりました。
これは、アクティベーションステアリングアプローチで対処する文脈感度を制御するという問題を引き起こす。
論文 参考訳（メタデータ） (2026-03-24T12:08:16Z) - Are Language Models Sensitive to Morally Irrelevant Distractors? [47.92026843851412]
低あいまいなシナリオであっても、道徳的気晴らし者が大きな言語モデルの道徳的判断を30%以上シフトできることを示す。
この研究は、人間の道徳的判断の安定性を仮定する理論に挑戦する。
論文 参考訳（メタデータ） (2026-02-10T05:18:05Z) - MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。
主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。
以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
論文 参考訳（メタデータ） (2025-09-15T19:06:10Z) - Beyond Ethical Alignment: Evaluating LLMs as Artificial Moral Assistants [0.36326779753373206]
近年の大規模言語モデル(LLM)の普及は、その道徳的能力に対する懸念を招いている。
本稿では,人工モラルアシスタント(AMA)として機能する能力について検討する。
我々は、AMAとしての資格は、最先端のアライメント技術が達成しようとしているもの以上のものが必要であると主張している。
論文 参考訳（メタデータ） (2025-08-18T09:28:55Z) - Discerning What Matters: A Multi-Dimensional Assessment of Moral Competence in LLMs [0.14963505712040906]
道徳的能力は道徳的原則に従って行動する能力である。
大規模言語モデル(LLM)は、道徳的能力を求める状況においてますます展開されているため、この能力を実証的に評価することへの関心が高まっている。
i) 道徳的特徴を明確に強調した事前パッケージ化された道徳的シナリオへの過度な信頼、(ii) 道徳的推論よりも検証予測に焦点をあてること、(iii) 追加情報が必要な時に認識できないモデルの不適切なテスト。
論文 参考訳（メタデータ） (2025-06-16T03:59:38Z) - Are Language Models Consequentialist or Deontological Moral Reasoners? [75.6788742799773]
我々は、大規模言語モデル(LLM)が提供する道徳的推論トレースの大規模分析に焦点をあてる。
我々は,2つの主要な規範的倫理理論,つまり連続主義と非オントロジーを体系的に分類するために,道徳的論理学の分類を導入し,検証する。
論文 参考訳（メタデータ） (2025-05-27T17:51:18Z) - When Ethics and Payoffs Diverge: LLM Agents in Morally Charged Social Dilemmas [68.79830818369683]
大規模言語モデル(LLM)は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割での使用を可能にしている。
大規模言語モデル(LLM)の最近の進歩は、人間や他のエージェントとの意思決定を含む複雑なエージェントの役割において、それらの使用を可能にしている。
道徳的命令が報酬やインセンティブと直接衝突するときの行動についての理解は限られている。
本稿では,社会ジレンマシミュレーション(MoralSim)におけるモラル行動について紹介し,LLMが囚人のジレンマゲームや公共グッズゲームにおいて道徳的に課金された文脈でどのように振る舞うかを評価する。
論文 参考訳（メタデータ） (2025-05-25T16:19:24Z) - The Staircase of Ethics: Probing LLM Value Priorities through Multi-Step Induction to Complex Moral Dilemmas [20.792208554628367]
我々は多段階モラルジレンマデータセットを導入し,3,302個の5段階ジレンマのLLMの進化的道徳的判断を評価する。
このフレームワークは、LLMがジレンマをエスカレートする際の道徳的推論をどのように調整するかを、きめ細やかな動的解析を可能にする。
我々の研究は、動的で文脈に配慮した評価パラダイムへのシフトを呼びかけ、LLMのより人間らしく価値に敏感な開発への道を開いた。
論文 参考訳（メタデータ） (2025-05-23T17:59:50Z) - What Makes it Ok to Set a Fire? Iterative Self-distillation of Contexts
and Rationales for Disambiguating Defeasible Social and Moral Situations [48.686872351114964]
道徳的または倫理的な判断は、それらが起こる特定の文脈に大きく依存する。
我々は,行動が多かれ少なかれ道徳的に容認されるような,根底的な文脈を提供するという,デファシブルな道徳的推論を導入する。
文脈化と論理の1.2M項目からなる高品質なデータセットを115Kデファシブルな道徳行動のために蒸留する。
論文 参考訳（メタデータ） (2023-10-24T00:51:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。