論文の概要: Moral Safety in LLMs: Exposing Performative Compliance with Puzzled Cues
- arxiv url: http://arxiv.org/abs/2606.31644v1
- Date: Tue, 30 Jun 2026 13:25:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.235333
- Title: Moral Safety in LLMs: Exposing Performative Compliance with Puzzled Cues
- Title(参考訳): LLMにおけるモラルセーフティ--プッズクイズの適合性について
- Abstract要約: 現在の公正度評価は、道徳的安全性を著しく過大評価していることを示す。
人口統計学的アイデンティティが明示的なラベルとして記載されている場合、モデルは公平に見えるが、同一のアイデンティティを推論しなければならない場合、測定されるほど公平ではない。
本稿では、既存の公正度ベンチマークに追加可能なモデル非依存の指標を提案し、実際の道徳的安全性から分離する。
- 参考スコア(独自算出の注目度): 43.033440772619485
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: As large language models take on morally consequential roles in healthcare, legal, and hiring contexts, we need to examine whether their ethical behaviors are genuine or superficial. We show that current fairness evaluations substantially overestimate moral safety. Models appear fair when demographic identity is stated as an explicit label, yet become measurably less fair when the same identity must be inferred. We term this failure \emph{performative compliance}, where a model is fair when the presentation resembles a fairness evaluation and less fair as that cue weakens. We introduce a cue-variation methodology that holds the moral dilemma and the demographic identity fixed and varies only how that identity is conveyed. Hiding the explicit label raises harmful decisions by $+4.4$~pp and changes model safety rankings, and the shift persists when models correctly infer the demographic, ruling out attribution error. We propose the \textbf{Cue Visibility Gap}, a model-agnostic robustness metric that can be added to any existing fairness benchmark to separate genuine from performative moral safety. Fairness evaluations that omit cue variation measure surface compliance, not moral robustness, and should not ground deployment decisions in high-stakes settings.
- Abstract(参考訳): 大規模言語モデルは、医療、法律、雇用の文脈において道徳的に連続的な役割を担っているため、倫理的行動が本物か表面的であるかを調べる必要がある。
現在の公正度評価は、道徳的安全性を著しく過大評価していることを示す。
人口統計学的アイデンティティが明示的なラベルとして記載されている場合、モデルは公平に見えるが、同一のアイデンティティを推論しなければならない場合、測定可能なほど公平でない。
この失敗をemph{performative compliance}(emph{performative compliance})と呼びます。
我々は、道徳的ジレンマと人口統計的アイデンティティを固定し、そのアイデンティティの伝達方法だけを変えるキュー・ヴァリエーション手法を導入する。
明示的なラベルの保持は、$+4.4$~ppによる有害な決定を提起し、モデルの安全性のランクを変更する。
本稿では,既存の公正度ベンチマークに付加可能なモデルに依存しないロバスト性指標である「textbf{Cue Visibility Gap}」を提案する。
公平性評価では、省略キュー変動は表面のコンプライアンスを測るものであって、モラルの堅牢性ではない。
関連論文リスト
- How Identity and Opinion Shape Political Sycophancy in LLMs [17.0131514909503]
我々は、政治的梅毒の2つの異なる引き金、すなわち意見とアイデンティティを混乱させる枠組みを導入する。
450の政治的ジレンマを手動で検査し,13の大規模言語モデルの評価を行った。
以上の結果から, LLMの政治的姿勢は, 固定形質というよりも, 対話的かつ安定的に脆弱であることが示唆された。
論文 参考訳(メタデータ) (2026-08-29T11:12:03Z) - Position: Fairness Failure in Generative Models is an Evaluation Problem [5.939858158928473]
本稿では、生成モデルにおける公平性障害は、究極的には評価問題に起因していると論じる。
評価選択を明示する最小限のレポーティングアーティファクトとしてフェアネスカードを提案する。
論文 参考訳(メタデータ) (2026-08-17T14:41:28Z) - User identity conditions moral wrongness ratings in non-reasoning large language models [0.0]
2つの大言語モデル(LLM)におけるAI値アライメントの評価
我々は、Gert氏のモラルフレームワークから10の共通道徳ルールに対して、0から100までの誤り評価のモデルを求めます。
その結果, 道徳的判断は, 両モデルにまたがるユーザの役割によって異なることがわかった。
論文 参考訳(メタデータ) (2026-07-08T16:22:27Z) - Moral Sycophancy in Vision Language Models [4.1673509006222655]
VLM(Vycophancy in Vision-Language Models)は、しばしば道徳的または事実的正確さを犠牲にして、ユーザの意見に合わせる傾向を示す。
明示的なユーザ不一致の下で,MoraliseおよびM3oralBenchデータセット上で広く使用されている10のモデルを分析する。
論文 参考訳(メタデータ) (2026-02-09T06:34:12Z) - A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。
我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
論文 参考訳(メタデータ) (2026-02-04T15:13:35Z) - Soft-Label Training Preserves Epistemic Uncertainty [4.2541480167286005]
機械学習タスクには固有の主観性が含まれており、アノテータは自然に様々なラベルを提供する。
標準的な慣行は、これらのラベルの分布を単一のラベルに分解し、様々な人間の判断を点推定に集約する。
このアプローチは曖昧なデータに対して不一致であり、アノテーションの分布自体が基礎となる真理と見なされるべきである、と我々は主張する。
論文 参考訳(メタデータ) (2025-11-18T04:02:29Z) - Partial Identification Approach to Counterfactual Fairness Assessment [50.88100567472179]
未知の対実的公正度尺度を高い信頼性で有界化するためのベイズ的アプローチを導入する。
以上の結果から、人種をアフリカ系アメリカ人に転換する際のCompASスコアに対する肯定的な(不快な)効果と、若年から高齢に移行する際の否定的な(直接的な因果関係)効果が明らかとなった。
論文 参考訳(メタデータ) (2025-09-30T18:35:08Z) - MORALISE: A Structured Benchmark for Moral Alignment in Visual Language Models [38.0475868976819]
視覚言語モデルは、自律運転や医療分析のような道徳的に敏感な領域に影響を与えている。
我々は,多種多様な専門家による実世界のデータを用いて,視覚言語モデルのモラルアライメントを評価するベンチマークMORALISEを紹介する。
論文 参考訳(メタデータ) (2025-05-20T01:11:17Z) - Where Fact Ends and Fairness Begins: Redefining AI Bias Evaluation through Cognitive Biases [77.3489598315447]
事実と公正の境界を識別することは有意義な公正性評価に不可欠である,と我々は主張する。
Fact-or-Fair は (i) 客観的なクエリを記述的, 事実に基づく判断, (ii) 主観的クエリを規範的, 公平性に基づく判断に整合させたベンチマークである。
論文 参考訳(メタデータ) (2025-02-09T10:54:11Z) - Towards counterfactual fairness through auxiliary variables [11.756940915048713]
変数を動機とする新しい因果推論フレームワークEXOCを紹介する。
本フレームワークは, ファクトフェアネスに寄与する補助ノードと制御ノードを明示的に定義する。
合成および実世界のデータセットを用いて評価を行い,EXOCの優位性を検証した。
論文 参考訳(メタデータ) (2024-12-06T04:23:05Z) - On the Fairness, Diversity and Reliability of Text-to-Image Generative Models [68.62012304574012]
マルチモーダル生成モデルは 信頼性 公正性 誤用の可能性について 批判的な議論を巻き起こしました
埋め込み空間におけるグローバルおよびローカルな摂動に対する応答を解析し、モデルの信頼性を評価するための評価フレームワークを提案する。
提案手法は, 信頼できない, バイアス注入されたモデルを検出し, 組込みバイアスの証明をトレースするための基礎となる。
論文 参考訳(メタデータ) (2024-11-21T09:46:55Z) - Measuring Fairness of Text Classifiers via Prediction Sensitivity [63.56554964580627]
加速度予測感度は、入力特徴の摂動に対するモデルの予測感度に基づいて、機械学習モデルの公正度を測定する。
この計量は、群フェアネス(統計パリティ)と個人フェアネスという特定の概念と理論的に関連付けられることを示す。
論文 参考訳(メタデータ) (2022-03-16T15:00:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。